Meta 发布最强开源大模型 Llama3.1

显示全部楼层

大陆时间 2024 年 7 月 23 号 23:10，美国人工智能公司 Meta 发布最新的 Llama 开源模型 llama3.1^[1]，共有 8B 70B 和 405B 三种参数版本。

新一代大语言模型具有以下优势：

更大的上下文窗口: 支持 128K token 上下文窗口，能够更好地理解复杂的问题和上下文。
多语言支持: 同样支持多语言的功能 (8 种），能够有效处理不同语言的问题和任务。
改进的推理能力: 具备更强大的推理能力，能更好地解决复杂的问题和做出合适的决定。
工具使用: 支持使用各种工具来实现更高级别的用例和功能。

模型评估

Meta 在本次发布中对 Llama 3.1 进行了全面性能评估，涉及 150 多个多种语言基准数据集。此外还进行了广泛的人类评估，比较 Llama 3.1 与竞争对手的模型在真实世界场景下的表现。

与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 相比， Meta 的旗舰模型与业界领先的闭源模型具有相同水平的竞争力。

Llama 3.1 的 8B 小模型超越同数量级的闭源/开源模型。

开源协议与应用

Meta 更新了模型的许可协议，允许使用 Llama 模型（包括 405B 模型）的输出来改进其他模型，这是 LLM 开源领域的首创，将促进大语言模型的发展。Meta 就利用了 405B 参数模型来提高较小型模型的后训练质量。

Llama 3.1 模型可应用的场景有：

客服系统：提供更好的客户服务体验和帮助用户解决问题。
内容生成：创建更多种类和质量的内容，满足不同的需求和偏好。
问答系统：提供快速准确的答案和帮助用户解决问题。
语言翻译：支持多语言的翻译功能，帮助用户理解不同语言的文本和信息。

新的机会正在到来！

使用 Ollama 运行 llama3.1:8b

下载模型

$ollamapullllama3.1:8b
pullingmanifest
pullingff07ca852139...100%▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏4.7GB
pullingcdbcae7e69d5...100%▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏571B
pullingf1cd752815fc...100%▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏12KB
pulling56bb8bd477a5...100%▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏96B
pulling7f5b37e43ea5...100%▕██████████████████████████████████████████████████████████████████████████████████████████████████████▏485B
verifyingsha256digest
writingmanifest
removinganyunusedlayers
success

简单测试

$ollamarunllama3.1:8b"为什么天空是蓝色的？"--verbose
我们现在知道，天空是蓝色的，因为它反射了太阳光。这个基本的物理现象很好地解释了大自然中蓝色的一切。

太阳光线分为所有可见颜色的光波——从红到紫。蓝色的光波比红色的短，但也比绿色的长。地球大气层在我们头上时，会吸收所有的红色和橙色光线，然后把这些能量转换成热能。这个
过程叫做散射。

蓝色的光波因为其波长较短，所以能穿过大气层，而不被吸收掉。当我们看天的时候，我们实际上是在看到大气层反射的蓝光。

所以，天是蓝色的，因为大气层把红色的、橙色的和黄色的光波都阻挡了，只让我们看到蓝色光线。

totalduration:2.342940467s
loadduration:11.383278ms
promptevalcount:16token(s)
promptevalduration:63.679ms
promptevalrate:251.26tokens/s
evalcount:193token(s)
evalduration:2.225761s
evalrate:86.71tokens/s

可以看到 llama3.1:8b 能根据问题的语言自动回复中文，不需要再主动要求用中文回复，这和 Meta 博客中说的支持多语言是一致的。

附：马克·扎克伯格 (Mark Zuckerberg) 的 AI 理念

马克·扎克伯格在一封公开信中分享了他的看法：

我们相信，开源将确保全球更多人有机会享受人工智能的益处，并且不会集中在少数人的手中。这也意味着技术可以更平等和安全地被部署到整个社会。

开放源码是未来

通过开放源码，我们希望能够使更多人能够享受 AI 带来的好处，减少权力集中在少数人的手中，并且让技术更平等和安全地被部署到整个社会。

安全和责任

我们也注重安全和责任。我们希望能够确保 AI 技术被部署到整个社会中，且不会带来任何危害或伤害。这也是我们继续努力推动开放源码成为行业标准的原因之一。