前言
LLM已经向我们展示了其强大的生成能力，但是当我们想提从生成的文本中提取结构化数据，确实遇到了非常大的挑战。
特别是在提取json格式时， 不仅要求模型输出符合特定的语法规则，还需要确保数据能被正确的提取出来。
下面将给大家介绍 lm-format-enforcer 这个款Json格式提取工具
lm-format-enforcer 的能力
比JSONFormer Outlines支持更多的能力。
目前已经成为了vllm 作为 JSON 格式输出的后端之一.
支持批量生成和波束搜索 ：每个input/beam 可以在每个时间步过滤不同的标记
支持 JSON 模式、JSON 模式（无模式）和正则表达式格式
支持 JSON 模式中的必需字段和可选字段
支持 JSON 模式中的嵌套字段、数组和字典
使语言模型可以自由控制 JSON 模式中的空格和字段顺序，从而减少幻觉。
支持transformers,LangChain,LlamaIndex,llama.cpp,vLLM,Haystack,NVIDIA TensorRT-LLMandExLlamaV2.
Json格式化输出的原理解析
lm-format-enforcer约束Json输出的原理：
语言模型在每个时间步骤step，输出LLM的logits之后，在生成下一个token之前，通过设定的规则，只允许在给定的token的范围内采样，并通过添加bias的方式，不允许采样其他token,从而实现指定的结构化生成。
具体可以参考上图，分两步走：
创建Token词表的前缀树
依靠前缀树，约束Token按照指定结构输出
Token 词表前缀树的构建
首先会根据 tokenizer 给出的词表，初始化一个字符级别的前缀树。
前缀树上某个节点对应某个token，该节点的第一个子节点连着这个token中的第一个个字符，下一个子节点，对应这token中的下一个字符。
当token中的字符遍历完了，这时候就是填入该token对应的 token id
这样整个token词表中的 token 和 token id 的映射都会通过这样的方式插入到前缀树中。
约束Token按照指定格式输出
在初始化的时候，会接收用户指定的 json schema
接着在后续每一步生成过程中，会根据之前生成的内容，判断目前处于什么状态
然后根据当前所处的状态直接给出限定的字符集合。
lm-format-enforcer 实战
frompydanticimportBaseModel
fromlmformatenforcerimportJsonSchemaParser
fromlmformatenforcer.integrations.transformersimportbuild_transformers_prefix_allowed_tokens_fn
fromtransformersimportpipeline
classAnswerFormat(BaseModel):
first_name:str
last_name:str
year_of_birth:int
num_seasons_in_nba:int
#Createatransformerspipeline
hf_pipeline=pipeline('text-generation',model='TheBloke/Llama-2-7b-Chat-GPTQ',device_map='auto')
prompt=f'HereisinformationaboutMichaelJordaninthefollowingjsonschema:{AnswerFormat.schema_json()}:\n'
#Createacharacterlevelparserandbuildatransformersprefixfunctionfromit
parser=JsonSchemaParser(AnswerFormat.schema())
prefix_function=build_transformers_prefix_allowed_tokens_fn(hf_pipeline.tokenizer,parser)
#Callthepipelinewiththeprefixfunction
output_dict=hf_pipeline(prompt,prefix_allowed_tokens_fn=prefix_function)
#Extracttheresults
result=output_dict[0]['generated_text'][len(prompt):]
print(result)
#{'first_name':'Michael','last_name':'Jordan','year_of_birth':1963,'num_seasons_in_nba':15