链载Ai

标题: Jan：20.5K星星！将你的电脑变成AI计算机，使用 OpenAI 端点在本地 100% 运行开源 LLM [打印本页]

作者: 链载Ai 时间: 2 小时前
标题: Jan：20.5K星星！将你的电脑变成AI计算机，使用 OpenAI 端点在本地 100% 运行开源 LLM

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1em;letter-spacing: 0.1em;color: rgb(80, 80, 80);">Jan 是 ChatGPT 的开源替代品，可在您的计算机上 100% 离线运行。多引擎支持（llama.cpp、TensorRT-LLM）

Github：https://github.com/janhq/jan?tab=readme-ov-file

Hi，这里是Aitrainee，欢迎阅读本期新文章。

今天我们要讨论的是 Jan，这是一款桌面应用程序，可以让你在本地运行开源模型。你还可以连接 OpenAI 或 Groq API 密钥，与在线模型进行对话。简而言之，Jan 可以将所有的 AI 模型集中在一个地方，方便你进行对话。这个应用完全开源，且非常易于使用，只需一键安装，无需终端操作、编码或配置多个文件。你可以在几秒钟内启动并运行。

Jan 的主要功能之一是支持本地运行 AI 模型，如 Llama 或 Mistral，这样可以提高隐私性，不需要互联网连接。如果你需要讨论敏感内容，本地运行模型更为安全。例如，在需要保密的项目中，Jan 的本地模型功能可以确保对话的私密性和安全性。

如果你不需要本地模型，Jan 也可以连接到远程模型，如 OpenAI、Gro 或 Mistral API，这样你就不需要高级硬件来访问这些模型的功能。这种灵活性特别有用，当你需要在线模型的能力但仍希望在必要时切换到本地模型。所有对话内容都存储在本地。此外，Jan 跨平台支持 Mac、Linux 和 Windows，极大地提升了可访问性。

Jan 还提供了 API 端点，方便你在自定义应用程序或其他 AI 应用中使用，这些 API 端点与 OpenAI 兼容，所以你可以与任何支持 OpenAI 模型的应用程序一起使用。你还可以通过扩展选项设置其他功能，例如添加自定义插件以增强 Jan 的功能或将其与其他工具和服务集成。它支持处理 PDF、文档等任何可以解析的文本文件。Jan 有两个内置引擎用于推理：Llama CPP 和 Tensor RT LM，默认使用 Llama CPP。双引擎的设计为模型推理提供了更多的灵活性和选择。你还可以将 Jan 连接到 LM Studio 或 AMA 的端点。

现在让我们安装并试用一下。首先，访问 Jan 的网站并点击下载按钮，选择你的操作系统并下载安装文件。

安装完成后，你会看到界面，看起来非常酷。

你可能会看到提示没有本地模型，点击“Explore the Hub”选项，你会看到多个模型选项，你还可以粘贴 Hugging Face 链接来自动下载模型。我将安装 Llama 3 模型，只需点击下载按钮即可。

下载完成后，点击“Use”按钮，回到聊天页面，你会看到 Llama 3 模型已选中。发送一条“Hello”消息，模型会初始化并生成响应，非常酷。你还可以重命名对话线程，修改助手的指令，并在这里选择不同的模型。此外，还可以在推理设置中调整模型的高级设置，如温度和最大 tokens。

你可以创建新线程，安装更多模型，查看哪些模型适合你的系统。通过粘贴 Hugging Face 链接来设置模型也很方便。Jan 提供了本地 API 服务器，可以通过它公开模型的 API 端点并检查日志，还可以更改 API 端点 URL。

现在教你如何启用 RAG 功能。首先进入设置，打开高级设置，启用实验功能。回到聊天选项，点击附件图标，启用检索功能，附加文件并提出问题，这对想要快速启动模型而无需终端或复杂配置的人来说非常方便。

Jan 允许你在一个地方设置所有的 LLM 提供商，无论是 Gemini、OpenAI、Gro 还是本地模型，只需在下拉菜单中切换模型即可，真是太棒了。我非常喜欢这个应用。

下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Jan 是一个完全离线运行的开源 ChatGPT 替代品。

Jan 兼容任何硬件。从普通 PC 到多 GPU 集群，Jan 支持多种架构：

•NVIDIA GPU（速度快）
•Apple M 系列（速度快）
•Apple Intel
•Linux Debian
•Windows x64

快速链接

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(0, 152, 116);">Jan

•Jan 网站
•Jan GitHub
•用户指南
•开发者文档
•API 参考
•规格说明

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(0, 152, 116);">Nitro

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Nitro 是一个高效的 C++ 推理引擎，适用于边缘计算。它轻量且可嵌入，可以单独在你的项目中使用。

•Nitro 网站
•Nitro GitHub
•文档
•API 参考

故障排除

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">由于 Jan 仍在开发中，你可能会遇到一些问题。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">重置安装方法：

1.使用以下命令移除任何挂起的后台进程：
```
psaux|grepnitro
```
查找类似 "nitro" 和 "nitro_arm_64" 的进程，并逐一终止：
```
kill-9<PID>
```
2.从应用程序菜单重新启动 Jan。

更多帮助，请访问常见问题。

运行要求

Windows

最低要求：

•Windows 10 x64 或更高版本
•8GB 内存
•500MB 磁盘空间

推荐要求：

•NVIDIA GPU，支持 CUDA 10+ 驱动

Mac

最低要求：

•MacOS 12.6 或更高版本
•8GB 内存
•500MB 磁盘空间

推荐要求：

•Apple M 系列芯片

Linux

最低要求：

•Debian-based 发行版
•8GB 内存
•500MB 磁盘空间

推荐要求：

•NVIDIA GPU，支持 CUDA 10+ 驱动

在 Docker 中运行 Jan

运行步骤

1.克隆仓库：

gitclonehttps://github.com/janhq/jan.git
cdjan

2.构建 Docker 镜像：
```
dockerbuild-tjan.
```
3.运行容器：
```
dockerrun-itjan
```
4.访问 Jan：在浏览器中打开 http://localhost:8000 以开始使用 Jan。

视频教程

https://www.youtube.com/watch?v=10DUZA4KEvg&t=5s

知音难求，自我修炼亦艰

抓住前沿技术的机遇，与我们一起成为创新的超级个体

（把握AIGC时代的个人力量）

点这里?关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

欢迎光临链载Ai (https://www.lianzai.com/)