|
LLaMA 4的超长上下文一出，RAG瑟瑟发抖。 
其中最小款Llama 4 Scout 就标配10M token（1000万token）。 10M token（1000万token）是什么概念？ 大概15MB文本，能装100本书、100万行代码，LLaMA 4可以一次“看”完超长内容，不用翻来覆去喂数据。 我们知道传统的RAG（Retrieval-Augmented Generation）通过检索外部知识库给模型喂料，解决上下文短的问题。 过去，要对100本书和100万行代码进行分析。用RAG，得先检索相关片段，再喂给模型生成答案。 现在，LLaMA 4的出现似乎证明了这种需求还处于AI的蛮荒时代，直接把全量数据扔给LLaMA 4 Scout就完了，它自己翻完、推理完，给你答案。 “全量输入+直接推理”可以说直接打爆RAG的“检索+生成”模式。普通用户再也不用搭复杂的检索管道（向量数据库、嵌入模型），使用或者开发成本直线下降。 这里介绍一下LLaMA。 Meta AI被称为“AI界安卓”，LLaMA 则是由 Meta AI 开发的一系列开源大语言模型（Large Language Model Meta AI 的缩写），首次亮相于 2023 年。它专为研究和高效性设计，以在较小的参数规模下实现强大的自然语言处理能力而闻名。相比商业化的闭源模型（如 GPT 系列），LLaMA 主打一个开源和轻量化。 
2025年4月5日，Meta AI正式发布了这个开源大语言模型的第四代家族，号称“同类中最先进的多模态模型”。 LLaMA 4共三款型号。 
Llama 4 Scout：17B活跃参数，16个专家模块，多模态（文本+图像），上下文窗口10M token。单张H100 GPU就能跑。优于 LLaMA 3.1 405B、Gemma 3 和 Gemini，被称为“单卡最强多模态模型”。 Llama 4 Maverick：17B活跃参数，128个专家模块，性能据称超GPT-4，与 DeepSeek v3 相当，“开源天花板”。 Llama 4 Behemoth：直接来到2880B参数，16个专家模块，仍在训练中，目标挑战GPT-4o。 除了超大参数，开源Llama 4也直接全量多模态，文本 + 图像原生融合。目前已上架至opentrouer,togetherai也可以免费使用。 
虽然目前不无法直接消费级显卡上运行，Llama 4的性能可能也就那样，但是Llama 4很明显正传递一个信号：大模型大窗口的时代来了，RAG这种方式马上就会得迭代，未来人人都会自己的专属模型，模型长时记忆也将成为可能 ，新的知识新的内容或许直接通过直接增加添加的形式内化到模型中。 | 
