返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

聊聊上海人工智能实验室开源的轻量级agent框架——lagent

[复制链接]
链载Ai 显示全部楼层 发表于 半小时前 |阅读模式 打印 上一主题 下一主题

概述

官方仓库:lagent[1]

Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

特性

  • 流式输出:提供 stream_chat 接口作流式输出,本地就能演示酷炫的流式 Demo。
  • 接口统一,设计全面升级,提升拓展性,包括
    • Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽,模型切换可以游刃有余;
    • Action: 简单的继承和装饰,即可打造自己个人的工具集,不论 InternLM 还是 GPT 均可适配;
    • Agent:与 Model 的输入接口保持一致,模型到智能体的蜕变只需一步,便捷各种 agent 的探索实现;
  • 文档全面升级,API 文档全覆盖。

Agent类型

目前,官方的提供了四个agent。分别是:

  • autogpt.py
  • internlm2_agent.py
  • react.py
  • rewoo.py

其功能的用处,从其prompt即可识别出来。以internlm2_agent.py的prompt为例:

API_PREFIX=(
"Thisisthesubfunctionfortool'{tool_name}',youcanusethistool."
'Thedescriptionofthisfunctionis:\n{description}')

META_CN=('当开启工具以及代码时,根据需求选择合适的工具进行调用')

INTERPRETER_CN=('你现在已经能够在一个有状态的Jupyter笔记本环境中运行Python代码。'
'当你向python发送含有Python代码的消息时,它将在该环境中执行。'
'这个工具适用于多种场景,如数据分析或处理(包括数据操作、统计分析、图表绘制),'
'复杂的计算问题(解决数学和物理难题),编程示例(理解编程概念或特性),'
'文本处理和分析(比如文本解析和自然语言处理),'
'机器学习和数据科学(用于展示模型训练和数据可视化),'
'以及文件操作和数据导入(处理CSV、JSON等格式的文件)。')

PLUGIN_CN=('你可以使用如下工具:'
'\n{prompt}\n'
'如果你已经获得足够信息,请直接给出答案.避免不必要的工具调用!'
'同时注意你可以使用的工具,不要随意捏造!')

该agent主要用于数据分析,并且提供了tools检索arxiv。

internlm2_agent

官方的示例是提供了一个标准的agent实现,我个人觉得是蛮标准的,尤其是action与prompt的设计。

部署起来的界面如下:

该示例demo来自官方代码的examples/internlm2_agent_web_demo.py。

ArxivSearch在源码的actions文件中定义并实现了,其对应是agent中的action。参考该源码,我们可以实现自己的agent action。

ReAct

官方原先是放了一个react_web_demo.py,但现在删了;不过我额外找了个基于Llama3微调并实现了React agent的demo,见:llama3 react[2]

根据提交记录,重新找到了该react代码,主要是我想借鉴下原先的方式,代码地址:react_webdemo[3]。感兴趣可以玩起来。

分析下ReAct代码:prompt的设计还是比较简略,对于自己的业务的话还是需要改造下,尤其是对于工具的调用。

Agent设计

lagent是一个轻量级的agent框架,其实现依靠与三个主要的抽象:

  1. action_executor:action执行器,用于执行tools
  2. protocol:prompt的设计与llm response的解析
  3. BaseModel:LLM 模型

而集成自BaseAgent的各个Agent都会实现如上三个抽象类,即可完成自己的agent。在agent中实现流式调用输出,甚至是批量推理都是可以的,而且也有参考的agent实现。

官方代码中的四个agent还是很有参考价值的。整个的设计简洁又高效,相比较别的agent框架,的确是要更轻量级,非常方便入门学习以及了解LLM的很多基础知识。

总结

lagent是一个轻量级很方便学习入门agent范式的框架,我自己也花了一天的时间部署试玩调试,感觉还是蛮不错的一个框架。当然对于要完成实际业务的agent,尤其是需要切合我们自己的业务的话,还是需要重新设计agent,但官方的实现是很好的参考,很方便借鉴的实现。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ