链载Ai

标题: Go 实现的 llama 模型调试与推理库 [打印本页]

作者: 链载Ai    时间: 1 小时前
标题: Go 实现的 llama 模型调试与推理库

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">背景介绍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">大家都喜欢大而复杂的模型,如 GPT,但是这些模型大多需要 GPU 集群来完成运算,花费不菲。而且,在编程语言方面,我们经常需要在高性能和易用性之间作出取舍,例如 C++ 具有高性能,但其底层性质使其难以推广。如果你也在烦恼这样的问题,那么 Llama.go 项目或许会是你的选择。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">今天要给大家推荐一个 GitHub 开源项目 gotzmann/llama.go,该项目在 GitHub 有超过 1.1k Star,用一句话介绍该项目就是:“llama.go is like llama.cpp in pure Golang!”。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">项目介绍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Llama.go 是基于 Go 语言的开源项目,它与 llama.cpp 有相同的设计理念,关注性能和优雅性,同样以 Go 语言重新实现。相比于 C++ , Go 语言更易理解和使用。在 Llama.go 中,你不需要拥有繁多的硬件就可以在本地实现对大型 GPT 模型的理解和模拟。此外,它还充分利用 Go 语言的多线程和消息传递特性来提高性能。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Llama.go 项目还规划了很多功能特性,包括对多种操作系统的兼容性,提供稳定版本供 ML 极客使用,内存使用和 GC 优化,服务器模式的引入以及开箱即用的模型等。此外,对于进一步的功能开发,如支持更大的模型,对于流行 LLaMA 家族模型的支持,支持开放式的模型等,也在其开发路径中。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">如何使用

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">首先,下载模型: LLaMA-7B: llama-7b-fp32.bin https://nogpu.com/llama-7b-fp32.bin LLaMA-13B: llama-13b-fp32.bin https://nogpu.com/llama-13b-fp32.bin

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">接着,可以自己编译生成二进制文件,或者可以根据系统不同下载已经生成的文件。然后你可以运行以下命令测试:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;padding: 1em;margin: 10px 8px;">llama-go-v1.4.0-macos\
--model~/models/llama-7b-fp32.bin\
--prompt"WhyGolangissopopular?"\

以下是该项目 Star 趋势图(代表项目的活跃程度):







欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5