LlamaEdge 支持 tool call！调用外部工具 - 链载Ai

工具调用是从未有过的真正“LLM原生”的交互模式之一。它赋予了“思考”的大语言模型“行动”的能力——既能获取新知识，又能执行现实世界的操作。这对任何 agentic app 都至关重要。

开源LLM 在使用工具方面越来越出色。Llama 3 8B 模型让开发者在自己的笔记本电脑上实现可靠的工具调用成为可能！有了它，在Mac上就能用自然语言轻松下达指令完成不同任务，参考在社区月会上的demo⬇️

而本教程中，我们将展示一个简单的Python程序，该程序让本地 LLM 在本地计算机上运行代码和操作数据！

先决条件

按照本教程^[1]启动一个 LlamaEdge API 服务器。

第一步：通过以下命令行安装 WasmEdge^[2]。

curl-sSfhttps://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh|bash-s---v0.13.5--ggmlbn=b3259

第二步：下载一个 API server 应用。它是一个可以在多种 CPU 和 GPU 设备上运行的跨平台可移植的 Wasm 应用。

curl-LOhttps://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

第三步：我们需要一个能够调用工具的开源模型。Groq 微调过的Llama 3 8B模型是一个不错的选择。让我们下载模型文件。

curl-LOhttps://huggingface.co/second-state/Llama-3-Groq-8B-Tool-Use-GGUF/resolve/main/Llama-3-Groq-8B-Tool-Use-Q5_K_M.gguf

然后按照以下方式启动 LlamaEdge API 服务器。

wasmedge--dir.:.\
--nn-preloaddefault:GGML:AUTOlama-3-Groq-8B-Tool-Use-Q5_K_M.gguf\
--nn-preloadembedding:GGML:AUTO:nomic-embed-text-v1.5.f16.gguf\
llama-api-server.wasm\
--model-aliasdefault,embedding\
--model-namellama-3-groq-8b,nomic-embed\
--prompt-templategroq-llama3-tool,embedding\
--batch-size128,8192\
--ctx-size8192,8192

请注意这里的 groq-llama3-tool 提示词模板。它把用户查询和LLM响应，包括工具调用的JSON消息，构造为模型微调遵循的正确格式。

运行 demo agent

Agent app^[3] 是用Python 写的。它演示了 LLM 如何使用工具操作SQL数据库。在这种情况下，它启动并操作一个内存中的SQLite数据库。数据库存储待办事项列表。

下载代码，并安装 Python 依赖：

gitclonehttps://github.com/second-state/llm_todo
cdllm_todo
pipinstall-rrequirements.txt

设置我们刚刚设置的 API 服务器和模型名称的环境变量。

exportOPENAI_MODEL_NAME="llama-3-groq-8b"
exportOPENAI_BASE_URL="http://127.0.0.1:8080/v1"

运行 main.py 应用并调出命令行聊天界面。

pythonmain.py

使用 agent

现在，你可以要求 LLM 执行任务。例如，你可以说

User:
HelpmetowritedownitI'mgoingtofixabug

LLM 能够理解你的需求需要在数据库中插入一条记录，并且以 JSON 格式返回工具调用响应。

Assistant:
<tool_call>
{"id":0,"name":"create_task","arguments":{"task":"goingtofixabug"}}
</tool_call>

agent app（即 main.py）在 JSON 响应中执行工具调用 create_task，并将结果为 Tool的角色发回。你无需在此处执行任何操作，因为它会在 main.py 中自动发生。agent app 执行工具调用时，SQLite 数据库会更新。

Tool:
[{'result':'ok'}]

LLM 收到执行结果，然后回答。

Assistant:
I'veadded"goingtofixabug"toyourtasklist.Isthereanythingelseyou'dliketodo?

你可以继续对话。了解有关工具调用工作原理的更多信息，请参阅这篇文章^[4]。

代码拆解

main.py 脚本是一个很好的示例，可以展示工具调用应用程序的结构。

首先，有一个 Tools JSON 结构，它定义了可用的工具。每个工具都被设计为一个函数，有一个函数名称和一组参数。description 字段尤其重要。它解释了何时以及如何使用该工具。LLM“理解”此描述并使用它来确定是否应使用此工具来响应用户查询。LLM 将在需要时在其工具调用响应中包含这些函数名称。

Tools=[
{
"type":"function",
"function":{
"name":"create_task",
"description":"Createatask",
"parameters":{
"type":"object",
"properties":{
"task":{
"type":"string",
"description":"Task'scontent",
}
},
},
},
},
......
]

然后， eval_tools() 函数将 LLM JSON 响应中的工具函数名称和参数映射到需要执行的实际 Python 函数。

defeval_tools(tools):
result=[]
fortoolintools:
fun=tool.function
iffun.name=="create_task":
arguments=json.loads(fun.arguments)
result.append(create_task(arguments["task"]))
......

iflen(result)>0:
print("Tool:")
print(result)

returnresult

Python 函数按预期执行 CURD 数据库操作。

defcreate_task(task):
try:
conn.execute("INSERTINTOtodo(task,status)VALUES(?,?)",(task,"todo"))
conn.commit()
return{"result":"ok"}
exceptExceptionase:
return{"result":"error","message":str(e)}

使用 JSON 和 Python 中定义的工具调用函数，我们现在可以研究 agent 如何管理对话。用户查询通过 chat_completions 函数发送。

defchat_completions(messages):
stream=Client.chat.completions.create(
model=MODEL_NAME,
messages=messages,
tools=Tools,
stream=True,
)

tool_result=handler_llm_response(messages,stream)
iflen(tool_result)>0:
forresultintool_result:
messages.append({"role":"tool","content":json.dumps(result)})
returnFalse
else:
returnTrue

当收到响应时，它会调用 handler_llm_response() 来确定 LLM 响应是否需要工具调用。如果不需要工具调用，则只需向用户显示 LLM 响应。

但是，如果 LLM 响应中存在工具调用 JSON 部分，handler_llm_response() 函数负责通过调用关联的 Python 函数来执行它。每个工具调用执行结果都会自动作为带有 Tool 角色的消息发送回 LLM。然后，LLM 将使用这些 tool 结果消息来生成新的响应。

defhandler_llm_response(messages,stream):
tools=[]
content=""
print("Assistant:")
forchunkinstream:
iflen(chunk.choices)==0:
break
delta=chunk.choices[0].delta
print(delta.content,end="")
content+=delta.content
iflen(delta.tool_calls)==0:
pass
else:
iflen(tools)==0:
tools=delta.tool_calls
else:
fori,tool_callinenumerate(delta.tool_calls):
iftools[i]==None:
tools[i]=tool_call
else:
argument_delta=tool_call["function"]["arguments"]
tools[i]["function"]["arguments"].extend(argument_delta)
iflen(tools)==0:
messages.append({"role":"assistant","content":content})
else:
tools_json=[tool.json()fortoolintools]
messages.append(
{"role":"assistant","content":content,"tool_call":tools_json}
)

print()

returneval_tools(tools)

使其稳健

LLM应用的关键挑战之一是LLM响应通常不可靠。如果

LLM无法生成正确的工具调用响应来回答用户查询。

在这种情况下，你可以调整和微调每个工具调用函数的描述。LLM根据这些描述选择其工具。编写与常见用户查询匹配的描述至关重要。

LLM出现幻觉并生成具有不存在函数名称或错误参数的工具调用。

Agent 应用应捕获此错误并要求LLM重新生成响应。如果LLM无法生成有效的工具调用响应， Agent 可以回答类似视频对不起，Dave，我恐怕办不到啊^[5]中，LLM为工具生成了格式错误的JSON结构。

与以上相同。Agent 应捕获并处理错误。

工具调用是新的agentic LLM应用领域的关键特性。我们非常期待看到你的新创意！