|
如果你经常用LLM来完成一些任务，比如写代码、生成结构化数据或者调用API，你可能已经听说过类似json_mode或者“函数调用”这样的功能。这些功能其实解决了一个很核心的问题：让LLM生成的内容完全按照我们想要的格式输出。 硅基流动的API除了DeepSeek，其他模型全部都支持JSON格式返回，大家可以去试试。
LLM生成内容的本质我们都知道现在LLM生成内容的过程都是基于概率模型的，一步一步地生成每一个token。而每个token的选择其实是通过一个概率分布决定的，也就是说，下一个token是根据上下文“猜”出来的。 这个过程确实是非常灵活的，因为它允许LLM生成各种各样的文本。不过，这种灵活性也带来了一个问题：如果我们要的是某种特定格式的输出，比如JSON，那该怎么办呢？ 调整概率分布除了直接让LLM自由生成外，我们也可以通过一些技术手段来约束它的行为。今天我们重点聊聊一种非常实用的技术——通过人为干预概率分布，强制LLM生成符合特定语法的内容。 也就是我们可以把那些不符合目标格式的token的概率设置为0，从而确保LLM在生成内容时不会偏离我们设定的规则。这种方法在实践中已经被广泛使用了，比如json_mode、结构化输出（structured output）以及函数调用（function calling）等。 GitHub上的开源项目llama.cpp，它就提供了一个名为grammars/json.gbnf的文件（ https://github.com/ggml-org/llama.cpp/blob/master/grammars/json.gbnf ），专门用来定义JSON语法的规则。 root ::= object
value ::= object | array | string | number | ("true"|"false"|"null") ws
object ::=
"{"ws (
string":"ws value
(","ws string":"ws value)*
)?"}"ws
array ::=
"["ws (
value
(","ws value)*
)?"]"ws
string ::=
"\""(
[^"\\\x7F\x00-\x1F] |
"\\" (["\\bfnrt] | "u" [0-9a-fA-F]{4}) # escapes
)* "\"" ws
number ::= ("-"? ([0-9] | [1-9] [0-9]{0,15})) ("." [0-9]+)? ([eE] [-+]? [0-9] [1-9]{0,15})? ws
# Optional space: by convention, applied in this grammar after literal chars when allowed
ws ::= | "" | "\n" [ \t]{0,20}
通过这种方式，LLM在生成JSON格式的响应时，可以严格遵守这些语法规则，而不会出现任何偏差。 像 LangChain 这样提供 GBNF 支持的框架，也是通过 llama.cpp 实现的
或者你想用自己自定义的JSON结构的话，可以参考下面的写法： fromllama_cppimportLlama, LlamaGrammar
# Define your GBNF grammar
grammar_string =r"""
root ::= "{" pair ("," pair)* "}"
pair ::= string ":" list
list ::= "[" value ("," value)* "]"
value ::= string | number
string ::= "\"" [a-zA-Z0-9_]+ "\""
number ::= [0-9]+
"""
# Create a LlamaGrammar object
my_grammar = LlamaGrammar.from_string(grammar_string)
# Initialize Llama model
llm = Llama(model_path="C:/Users/sride/PycharmProjects/gbnf_implemen/llama-2-7b.Q4_K_S.gguf")
# Generate constrained output
prompt ="Give me list of fruits"
output = llm(prompt, max_tokens=100, temperature=0.7, grammar=my_grammar)
print(output['choices'][0]['text'])
| 
