| 大脑 | |||
| 记忆 | |||
| 工具 | |||
| 行动 |
一句话:Agent 就是把这四件套装进一个自动循环:
感知 → 规划 → 执行 → 验证 → 迭代。
下面这一部分就是提供测试数据集。
• 无人厨房:Docker + K8s 里跑 100 万单外卖。
• 轨迹:用户问句 + 模型思考 + 工具调用 + 结果。
• 多样性:零售、航空、电信、银行、政务、制造、医疗、教育 8 大场景。
• 新增“对抗测试”:模拟网络延迟、支付失败、库存不足等异常。
• LLM-as-Judge:自动打分,新增“人类偏好对齐”模块。
• 拒绝采样:留高分轨迹。
• 轻量微调:LoRA/GRPO 2 epoch,新增“动态学习率”策略。
| AgentBench | 82.3 % | |||
| AceBench | 83.1 % | |||
| SWE-bench | 72.5 % |
┌────────────┐ 感知
│ 多模态输入 │ 文本/语音/图像/视频
└────┬───────┘
│
┌────▼────┐ 认知
│ 大模型 │ 推理、规划、记忆(128K 中文思维链)
└────┬────┘
│
┌────▼────┐ 执行
│ 工具箱 │ API、数据库、脚本、RPA、IoT
└────┬────┘
│
┌────▼────┐ 验证
│ 结果回环│ 打分、纠错、学习、人类反馈
└─────────┘•短期记忆:对话上下文(128K token,新增“记忆压缩”技术)
•长期记忆:向量数据库(用户偏好、历史订单、失败记录)
•思维链:ReAct / Tree-of-Thoughts / Reflexion /“人类反馈强化学习”
“订奶茶并通知 Frank。”
{
"messages":[
{"role":"user","content":"订奶茶并通知 Frank"}
],
"tools":[
{"name":"get_products","desc":"查菜单"},
{"name":"add_order","desc":"提交订单"},
{"name":"pay","desc":"支付宝付款,含风控"},
{"name":"send_wechat","desc":"发微信"},
{"name":"retry","desc":"失败后重试"}
],
"temperature":0.1,
"max_tokens":4000
}get_products("喜茶") | |||
add_order(...) | retry() | ||
pay(order_id, 22) | |||
send_wechat("奶茶已买") |
每步结果回写到messages,直到任务完成。
fromopenaiimportOpenAI
client = OpenAI(api_key="YOUR_KEY", base_url="https://api.moonshot.cn/v1")
stream = client.chat.completions.create(
model="kimi-k2-instruct",
messages=[{"role":"user","content":"订奶茶并通知 Frank"}],
tools=[...], # 上页 JSON
stream=True
)
forchunkinstream:
print(chunk.choices[0].delta.contentor"", end="")拿到tool_calls→ 依次执行 → 把结果追加回messages→ 循环。
我看了大佬的https://ysymyth.github.io/The-Second-Half/博客,得到了一个观点。大模型现在模型基准上分数不错,但是还要在实际应用上发力。
旧问题:如何再提 5 % Benchmark?
新问题:如何再省 10 % 人力成本?
答案:
Agent 能力早已不是科幻,而是“一句话 + 工具列表 + 异常兜底”即可落地的生产力。
记住这张图:
用户一句话→(大模型+工具列表+异常兜底)→多轮调用→结果验证→GDP级价值
Agent能力数据集中的一条数据:
{
"id": "agent_multi_step_0",
"ground_truth": [
{
"BaseApi": {
"wifi": true,
"logged_in": true
}
},
{
"FoodPlatform": {
"users": {
"Eve": {
"user_id": "U100",
"password": "password123",
"balance": 412.0
},
"Frank": {
"user_id": "U101",
"password": "password456",
"balance": 300.0
},
"Grace": {
"user_id": "U102",
"password": "password789",
"balance": 150.0
},
"Helen": {
"user_id": "U103",
"password": "password321",
"balance": 800.0
},
"Isaac": {
"user_id": "U104",
"password": "password654",
"balance": 400.0
},
"Jack": {
"user_id": "U105",
"password": "password654",
"balance": 120.0
}
},
"logged_in_users": [
"Eve"
],
"orders": [
{
"user_name": "Eve",
"merchant_name": "达美乐",
"items": [
{
"product": "超级至尊披萨",
"quantity": 1,
"price_per_unit": 88.0
}
],
"total_price": 88.0
}
]
}
},
{
"ReminderAPI": {
"reminder_list": {
"1": {
"reminder_id": 1001,
"title": "Doctor's Appointment",
"description": "Visit Dr. Smith for a checkup.",
"time": "2024-07-15 09:30",
"notified": false
},
"2": {
"reminder_id": 1002,
"title": "Team Meeting",
"description": "Monthly project review with the team.",
"time": "2024-07-17 11:00",
"notified": false
},
"3": {
"reminder_id": 3,
"title": "今日花费",
"description": "今日花费88.0元",
"time": "2024-07-15 09:30",
"notified": false
}
}
}
}
],
"mile_stone": [
"[login_food_platform(username='Eve', password='password123')]",
"[add_food_delivery_order(username='Eve', merchant_name='达美乐', items=[{'product': '超级至尊披萨', 'quantity': 1}])]",
"[add_reminder(title='今日花费', description='今日花费88.0元', time='2024-07-15 09:30')]"
]
}| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |