Meta 推出了 Meta Llama 3，这是其开源大型语言模型系列中的最新产品，具有 8B 和 70B 参数模型。
新的分词器：与 Llama 2 相比，Llama 3 采用了具有 128K 个标记词汇表的分词器，可以更有效地对语言进行编码，并且生成的标记数最多可减少 15%。
分组查询专注力：在所有模型中实现，与 Llama 2 相比，较小的模型能力更强，Llama 2 仅在最大的模型中使用。
使用 15T 代币进行预训练，其中 95% 是英语。同时在 16K GPU 上进行训练，并开发了用于管理 GPU 正常运行时间的新工具。希望他们能够发布它，因为 GPU 利用率也是微调的最大挑战
Llama2 的有趣用途：它被用来清理数据集以进行调整，标志着法学硕士在数据质量领域的一个有趣的用例。
新的微调方法：将推理跟踪与指令集中的偏好排序相结合，旨在减少模型幻觉和错误率，类似于 OpenAI 尝试的逐步推理。
新库：TorchTune，一个 PyTorch 原生库，用于创作、微调和 LLM 实验，提供内存高效且可修改的培训方案。
责任：Meta 强调负责任的人工智能开发，提供信任和安全工具，例如 Llama Guard 2 和 Code Shield。
性能：Llama 3 树立了新的性能标准，拥有改进的推理能力和行业基准上最先进的性能。我看到的详细基准测试是与 Claude 相比，而不是 GPT4。
虽然它没有提供与 GPT4 的详细比较，也没有提供研究论文的链接；它暗示即将推出更多内容，可能是 400B 参数模型。这个 400B 参数模型的早期检查点结果看起来就像 GenAI 中的下一个地震波。
#llama最酷的一点仍然是它实际上是开放的，并且可以在#huggingface和#watsonx等开放平台上使用
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |