|
溯源/引用，工业界应用老板们最喜欢加的一个东西。总的来说，这个文章也没啥。做了一个评测基准，开源了一个用于溯源sft的45k数据集，开源了2个模型，介绍了他们的数据生成pipeline。
- hf-dataset:https://huggingface.co/datasets/THUDM/LongCite-45k
- model 1:https://huggingface.co/THUDM/LongCite-glm4-9b
- model 2:https://huggingface.co/THUDM/LongCite-llama3.1-8b
- github: https://github.com/THUDM/LongCite
主要看看数据生成的pipeline把，如下图：3步+1步过滤 （为啥不一步到位了，说是这样更干净，先出答案，在生成引用） - QA数据生成：LLM生成与给定长文本相关的查询和答案。
- 块级引用生成：给chunk标上引用，结合问题，答案，生成带引用的chunk级别qa数据
- 句子级引用提取：从每个chunk引用中提取出支持每个陈述的相关句子，生成细粒度引用。
- 过滤，丢弃引用数量不足的样本。
数据比例，中文占比比较多。 可以比较好的利用私有场景~ 整体就是效果更好
| 
