ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">苹果又来放大招了！ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">这次他们搞出了个叫ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">"超位提示"的新技术，简直就是给RAG装上了光速引擎。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;"> ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin:0 auto;width:auto;max-width:100%;" width="auto"/>ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">不知道大家还记不记得前阵子OpenAI那个GPT-4o mini？能力“据说”接近GPT-4，但价格却大幅下降。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">这不，苹果看不下去了，直接祭出大杀器：ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">超位提示（Superposition prompting）。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">这玩意儿有多牛？用在MPT-7B模型上，在NaturalQuestions-Open数据集上的ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">计算时间直接缩短了93倍！
看到这个数字，我都怀疑是不是写错了，结果仔细一查还真没错。 这简直是AI界的光速引擎啊！再这么搞下去，以后问AI问题是不是连眨眼的时间都不用了？ 让我们来看看这个"超位提示"到底是个啥东西。 简单来说，它是一种新的RAG（检索增强生成）方法，专门为那些基于transformer的预训练大语言模型设计的。 
跟传统的"链表式"DAG（有向无环图）不同，超位提示采用了一种叫"ForkJoin拓扑"的结构，可以并行处理输入文档。 - 并行处理：多个文档可以同时被处理，大大提高了效率。
- 路径剪枝：用贝叶斯显著性评分来剔除无关路径，既提高了准确性又提升了效率。
- 平衡位置分配：优化了token的位置分配，让模型表现更佳。
有细心网友发现： "等等，这不就是把GPU的并行计算思路搬到了NLP领域吗？苹果这波操作可以啊！"
确实如此。而且更厉害的是，它还能进行迭代超位，这让模型在多跳推理任务上的表现也有了显著提升。 那效果如何呢？ 据研究团队透露，在相同的数据集上，准确率提高了43%。不仅如此，它还超越了像Naive LLM-RAG、BM-25、TF-IDF和Contriever这样的基线方法。 更令人惊讶的是，这个方法在各种规模和架构的模型上都表现出色，包括OpenELM、BLOOMZ和MPT。 此外，研究团队表示，在MuSiQue数据集上的测试显示，超位提示在多跳推理任务上的表现反而有所提升。 苹果这次的"超位提示"技术不仅大幅提升了处理速度，还在一定程度上提高了准确性，可以说是一石二鸟。
|
