返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

专为企业级大模型开发的框架、工具和模型

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 22:23 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">背景介绍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在当今的企业环境下,很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才,能够很好的处理大模型落地过程中碰到的问题。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">今天要给大家推荐一个 GitHub 开源项目 llmware-ai/llmware,该项目在 GitHub 有超过 1.6k Star,用一句话介绍该项目就是:“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">项目介绍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">llmware是一个专为企业级 LLM 开发的框架、工具和模型。该项目在私有云中将企业知识与 LLM 安全并有效地整合,以便于创建出专业的、基于知识的企业 LLM 应用。主要功能包括:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">1、提供高性能的文档解析器以快速处理多种常用文档类型;

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">2、提供完整的直观的查询方法,如语义查询,文本查询以及混合查询;

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">3、支持人类参与评估、反馈和纠正 AI 的响应;

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">4、可灵活地分析和审核 LLM 提示生命周期,等等。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">此外,llmware还提供快速开始使用增强型检索生成(RAG)的教程和视频,以便于让大家探索并掌握这个开源项目。

如何使用

llmware的安装和使用十分方便,可以通过pip命令进行安装。

pip3installllmware

对于 MongoDB 和 Milvus 的使用者,llmware可以直接通过 Docker Compose 文件进行安装,以便于提供生产级的数据库和向量嵌入能力。安装完成后,只需引入llmware库即可开始编写代码。

fromllmware.modelsimportModelCatalog

ModelCatalog().get_llm_toolkit()#getallSLIMmodels,deliveredassmall,fastquantizedtools
ModelCatalog().tool_test_run("slim-sentiment-tool")#seethemodelinactionwithtestscriptincluded

项目推介

llmware构建的框架由四大主要组件组成,可以满足全面而多元的业务需要。

以下是该项目 Star 趋势图(代表项目的活跃程度):


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ