链载Ai

标题: 36k Star的开源大模型应用开发平台,太强了! [打印本页]

作者: 链载Ai    时间: 昨天 10:55
标题: 36k Star的开源大模型应用开发平台,太强了!
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-right: 8px;margin-bottom: 1.5em;margin-left: 8px;color: rgb(63, 63, 63);">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;border-radius: 4px;display: block;margin: 0.1em auto 0.5em;" title="null"/>

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">引言

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Dify是一款开源的大语言模型(LLM)应用开发平台,它帮助开发者和非技术人员,快速构建生产级别的生成式AI应用。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">该项目设立于2023 年 3 月,开源协议是基于Apache License 2.0有限商业许可,后端技术Python/Flask/PostgreSQL,前端技术Next.js

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">它提供了构建LLM应用所需的关键技术组件,如模型支持、Prompt编排、RAG引擎、Agent框架和流程编排,同时还具备直观的界面和API

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Dify的主要功能包括:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">加速AI应用开发:帮助创业者快速将创意变为现实,已助力多个团队构建MVP并获得投资。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">集成LLM至现有业务:通过RESTful APILLM能力嵌入现有应用,实现Prompt与业务逻辑的解耦,便于跟踪数据、成本和用量,持续优化应用效果。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">企业级LLM基础设施:作为企业内部的LLM网关,加速GenAI技术在企业中的应用,实现中心化监管。

探索LLM边界:即使是技术爱好者,也可通过Dify实践Prompt工程和Agent技术,探索LLM的能力极限。

Dify还提供了完整的云服务,无需安装即可使用。

截止发稿前在Github上已获得36.3kStar!

附上Github地址:https://github.com/langgenius/dify

模型设置

Dify目前已支持主流的模型供应商,并将模型按场景分为4个类:

1、系统推理模型:

在创建的应用中,用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。

已支持的系统推理模型供应商:

OpenAIAzure OpenAI ServiceAnthropicHugging Face HubReplicateXinferenceOpenLLM讯飞星火文心一言通义千问MinimaxZHIPU(ChatGLM)

2、Embedding 模型:

在数据集中,将分段过的文档做Embedding用的是该类型的模型。在使用了数据集的应用中,将用户的提问做Embedding处理也是用的该类型的模型。

已支持的Embedding模型供应商:

OpenAIZHIPU(ChatGLM)JinaAI

3、Rerank 模型:

Rerank模型用于增强检索能力,改善LLM的搜索结果。

已支持的Rerank模型供应商:

CohereJinaAI

4、语音转文字模型:

将对话型应用中,将语音转文字用的是该类型的模型。

已支持的语音转文字模型供应商:OpenAI

应用&工作流

Dify中应用都是基于GPT等大预言模型构建的,并且包含了完整的APIToken鉴权、WebApp来帮助使用者快速开发。它还提供了四种应用类型:

聊天助手:基于LLM构建对话式交互的助手

文本生成:构建面向文本生成类任务的助手,例如撰写故事、文本分类、翻译等

Agent:能够分解任务、推理思考、调用工具的对话式智能助手

工作流:基于流程编排的方式定义更加灵活的LLM工作流

知识库

Dify平台中,我们地运用知识库来实施RAG(Retrieval-Augmented Generation)技术,当用户提出一个问题时,系统会迅速在知识库中搜索与该问题最为契合的数据片段。

这一过程涉及复杂的语义匹配算法,确保所检索到的内容不仅相关,而且能够直接回答或辅助解答用户的问题。

一旦找到合适的信息,系统会将这些检索到的文档片段融入模型生成回复的上下文中,作为额外的背景知识,使用户获得更为满意和详尽的答案。

工具

工具有效地拓展了大型语言模型(LLM)的功能边界,通过集成联网搜索、科学计算、图像生成等能力,不仅丰富了LLM的技能集,还显著增强了其与外部世界互动的能力。

使得LLM能更全面地理解和响应复杂多样的现实需求。

安装

系统要求

在安装Dify之前,请确保您的机器满足以下最低系统要求:

快速启动

启动Dify服务器的最简单方法是运行docker-compose.yml文件。

在运行安装命令之前,请确保您的机器上安装了DockerDocker Compose

cddocker
cp.env.example.env
dockercomposeup-d

运行后,可以在浏览器上访问http://localhost/install进入Dify控制台并开始初始化安装操作。

自定义配置

如果您需要自定义配置,请参考.env.example文件中的注释,并更新 .env文件中对应的值。

此外,可能需要根据您的具体部署环境和需求对docker-compose.yaml文件本身进行调整,例如更改镜像版本、端口映射或卷挂载。

完成任何更改后,请重新运行docker-compose up -d







欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5