链载Ai

标题: ollama v0.12.9 发布:修复 CPU Only 系统性能回退并优化 GPU 与 ROCm 支持 [打印本页]

作者: 链载Ai    时间: 前天 22:33
标题: ollama v0.12.9 发布:修复 CPU Only 系统性能回退并优化 GPU 与 ROCm 支持

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;color: rgb(63, 63, 63);">在这里插入图片描述

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">2025年11月2日,Ollama 发布了ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">v0.12.9最新版本,本次更新主要针对 CPU-only 系统的性能回退问题进行了修复,同时在 GPU 设备检测、ROCm 错误处理以及 CUDA 内存分配优化方面进行了多项改进。以下是版本的详细变化说明。


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;display: table;padding: 0px 0.2em;color: rgb(255, 255, 255);background: rgb(15, 76, 129);">一、主要更新内容

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">1. 修复 CPU-only 系统性能回退问题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">本次版本重点修复了在仅使用 CPU 的环境下出现的性能回退(regression)问题,确保在缺乏 GPU 的系统上依旧能够高效运行模型。


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">2. GPU 设备检测路径优化

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在 GPU 设备枚举的过程中,旧版本使用ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 12.6px;text-align: left;line-height: 1.75;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">LibOllamaPath作为库路径,本次更新统一改为ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 12.6px;text-align: left;line-height: 1.75;color: rgb(221, 17, 68);background: rgba(27, 31, 35, 0.05);padding: 3px 5px;border-radius: 4px;">ml.LibOllamaPath,保证路径引用一致性,提升跨平台与多设备环境下的稳定性。
改动包括:

这些改动有助于在 GPU 初始化阶段正确加载相关库文件,尤其是在混合 GPU 环境中(CUDA 与 ROCm 并存)。


3. ROCm 错误捕获与日志改进

新增对ROCm error的日志监控,llm/status.goerrorPrefixes列表中增加了"ROCm error"条目,使错误信息能够被及时捕获与输出,便于定位问题。


4. CUDA 内存操作优化

在 CUDA 后端实现中增加了对内存设置与拷贝操作的优化逻辑:

效果:


5. 测试用例调整

integration/api_test.go中移除了冗余的TestAPIEmbeddings测试方法,此前该测试会调用嵌入 API(Embeddings),包括模型拉取与输出验证,此处删除主要是简化测试集,避免重复测试相同功能。


6. 文件结构调整与命名空间修改

discover/path.go文件更名为ml/path.go,并将包名从discover改为ml,归类到机器学习核心逻辑下,使模块结构更加清晰。


二、总结

ollama v0.12.9 在保持功能稳定的同时,解决了 CPU-only 系统的性能问题,并且显著优化了 GPU 设备检测、ROCm 错误日志及 CUDA 内存分配机制。这些改进对在多种硬件环境中部署 Ollama 的用户尤为重要:

·






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5