返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

DB-GPT v0.5.9 版本更新, 新增 Agent 模块开发文档、支持谷歌 gemma-2 模型等新特性

[复制链接]
链载Ai 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);text-align: center;visibility: visible;">亲爱的 DB-GPT 社区伙伴们,DB-GPT v0.5.9版本发布啦,接下来我们一起看看该版本带来哪些变化吧:


新特性



ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;color: rgb(51, 51, 51);font-size: 14px;visibility: visible;">支持以数据库作为模型ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;color: rgb(51, 51, 51);font-size: 14px;visibility: visible;">注册中心实现集群部署高可用

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;">1)变更表结构:

-- For deploy model cluster of DB-GPT(StorageModelRegistry)CREATE TABLE IF NOT EXISTS `dbgpt_cluster_registry_instance` (`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'Auto increment id',`model_name` varchar(128) NOT NULL COMMENT 'Model name',`host` varchar(128) NOT NULL COMMENT 'Host of the model',`port` int(11) NOT NULL COMMENT 'ort of the model',`weight` float DEFAULT 1.0 COMMENT 'Weight of the model',`check_healthy` tinyint(1) DEFAULT 1 COMMENT 'Whether to check the health of the model',`healthy` tinyint(1) DEFAULT 0 COMMENT 'Whether the model is healthy',`enabled` tinyint(1) DEFAULT 1 COMMENT 'Whether the model is enabled',`prompt_template` varchar(128) DEFAULT NULL COMMENT 'rompt template for the model instance',`last_heartbeat` datetime DEFAULT NULL COMMENT 'Last heartbeat time of the model instance',`user_name` varchar(128) DEFAULT NULL COMMENT 'User name',`sys_code` varchar(128) DEFAULT NULL COMMENT 'System code',`gmt_created` datetime DEFAULT CURRENT_TIMESTAMP COMMENT 'Record creation time',`gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'Record update time',PRIMARY KEY (`id`),UNIQUE KEY `uk_model_instance` (`model_name`, `host`, `port`, `sys_code`)) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='Cluster model instance table, for registering and managing model instances';
2.我们需要在两台机器(server1和server2)上启动模型控制器,它们将通过连接到同一数据库来共享元数据。在 server1 上启动模型控制器:
dbgptstartcontroller\--port8000\--registry_typedatabase\--registry_db_typemysql\--registry_db_namedbgpt\--registry_db_host127.0.0.1\--registry_db_port3306\--registry_db_userroot\--registry_db_passwordaa123456

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;margin-top: 24px;">server2 上启动模型控制器:

dbgptstartcontroller\--port8000\--registry_typedatabase\--registry_db_typemysql\--registry_db_namedbgpt\--registry_db_host127.0.0.1\--registry_db_port3306\--registry_db_userroot\--registry_db_passwordaa123456
3. 启动Model Worker
dbgptstartworker--model_nameglm-4-9b-chat\--model_path/app/models/glm-4-9b-chat\--port8001\--controller_addr"http://server1:8000,http://server2:8000"
4. 启动Embedding Model Worker
dbgptstartworker--model_nametext2vec\--model_path/app/models/text2vec-large-chinese\--worker_typetext2vec\--port8003\--controller_addr"http://server1:8000,http://server2:8000"
5. 启动Web Server
LLM_MODEL=glm-4-9b-chatEMBEDDING_MODEL=text2vec\dbgptstartwebserver\--light\--remote_embedding\--controller_addr"http://server1:8000,http://server2:8000"

更多细节可以查看文档:

https://docs.dbgpt.site/docs/latest/installation/model_service/cluster_ha/

?ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;outline: 0px;color: rgb(51, 51, 51);font-size: 14px;visibility: visible;">新增AgentingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;outline: 0px;color: rgb(51, 51, 51);font-size: 14px;visibility: visible;">模块开发文档

文档地址:

https://docs.dbgpt.site/docs/latest/agents/introduction/

?ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;outline: 0px;color: rgb(51, 51, 51);font-size: 14px;visibility: visible;">支持谷歌新开源 gemma-2 模型

需要升级 transformers 库到最新版

pipinstall-U"transformers>=4.42.1"


LLM_MODEL=gemma-2-9b-it#LLM_MODEL=gemma-2-27b-it##下面配置开启量化#QUANTIZE_8bit=False#QUANTIZE_4bit=False
?支持 DeepSeek-Coder-V2 模型



LLM_MODEL=deepseek-coder-v2-lite-instruct#LLM_MODEL=deepseek-coder-v2-instruct
?支持通义 Embedding

EMBEDDING_MODEL=proxy_tongyiproxy_tongyi_proxy_backend=text-embedding-v1proxy_tongyi_proxy_api_key={your-api-key}
?新增图片下载功能

?折线图显示优化




Bug 修复


  • 修复chroma db 打分问题

  • 修复AWEL branch分支问题

  • 修复scheme linking error问题


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ