返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

ollama v0.13.0 发布:DeepSeek-OCR、Cogito-V2.1 全新支持,性能工具 Bench 正式上线

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 22:40 |阅读模式 打印 上一主题 下一主题

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;color: rgb(63, 63, 63);">在这里插入图片描述
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;color: rgb(63, 63, 63);">在这里插入图片描述ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;margin: 0.1em auto 0.5em;border-radius: 4px;" title="null"/>
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;color: rgb(63, 63, 63);">在这里插入图片描述ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;margin: 0.1em auto 0.5em;border-radius: 4px;" title="null"/>

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">2025 年 11 月 19 日,Ollama 发布了ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">v0.13.0版本,本次更新带来了多个重要的新特性与性能优化,包括全新的ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">DeepSeek-OCR模型支持、ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">Cogito-V2.1模型上线、全新的性能基准测试工具ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(15, 76, 129);">Bench,以及一系列引擎与系统优化。以下是详细更新内容介绍。


一、新增模型

1. DeepSeek-OCR

DeepSeek-OCR 使用光学二维映射 (optical 2D mapping)技术压缩长上下文,在减少视觉 token 的同时,提升 OCR 精度,特别适合文档处理场景,实用价值显著。

该模型已在 Ollama 上支持,可通过以下示例调用:

ollama run deepseek-ocr"/path/to/image\n<|grounding|>Given the layout of the image."
ollama run deepseek-ocr"/path/to/image\nFree OCR."
ollama run deepseek-ocr"/path/to/image\nParse the figure."
ollama run deepseek-ocr"/path/to/image\nExtract the text in the image."
ollama run deepseek-ocr"/path/to/image\n<|grounding|>Convert the document to markdown."

2. Cogito-V2.1

这是当前美国公司发布的最佳开源权重指令调优生成模型之一,专注于高质量指令跟随与文本生成。


二、基准测试工具(Bench Tool)

Ollama 的 GitHub 仓库新增了Bench工具,用于测试模型性能。该工具基于Go语言构建,支持可配置参数与多种输出格式。

构建方式

安装 Go 后,在 Ollama 仓库根目录执行:

go build -o ollama-bench bench.go
./bench -model gpt-oss:20b -epochs 6 -format csv

无需构建可直接运行:

gorunbench.go-modelgpt-oss:20b-epochs3

功能特点

  • • 支持单次运行基准测试多个模型
  • • 支持文本与图片 Prompt
  • • 可配置生成参数(temperature、max tokens、seed 等)
  • • 输出格式支持benchstatCSV
  • • 提供详细性能指标,包括prefillgenerateloadtotal四类耗时

命令示例

  • • 基本测试:
./bench-modelgemma3-epochs6
  • • 多模型测试:
./bench -model gemma3,gemma3n -epochs 6 -max-tokens 100 -p"Write me a short story"|teegemma.bench
benchstat -col /name gemma.bench
  • • 图片 Prompt:
./bench-modelqwen3-vl-imagephoto.jpg-epochs6-max-tokens100-p"Describethisimage"
  • • 高级测试:
./bench-modelllama3-epochs10-temperature0.7-max-tokens500-seed42-formatcsv-outputresults.csv

性能数据示例(Markdown 格式)

Model
Step
Count
Duration
nsPerToken
tokensPerSec
gpt-oss:20b
prefill
124
30.006458ms
241987.56
4132.44
gpt-oss:20b
generate
200
2.646843954s
13234219.77
75.56
gpt-oss:20b
load
1
121.674208ms
-
-
gpt-oss:20b
total
1
2.861047625s
-
-

三、引擎与系统优化更新

  1. 1.DeepSeek-OCR 支持
  2. 2.DeepSeek-V3.1 架构支持于 Ollama 引擎
  3. 3. 修复Ollama 0.12.11在 CUDA 上的性能问题
  4. 4. 修复 Linux 安装包缺失 Vulkan 库的问题
  5. 5. 提升容器 / cgroups 环境下的 CPU 与内存检测精度
  6. 6. 改进 AMD GPU VRAM 信息检测方式
  7. 7. 优化 KV Cache 性能,不再需要碎片化整理

四、版本变更概要

  • • 引入 DeepSeek-OCR 模型及相关架构支持
  • • 上线 Cogito-V2.1 模型
  • • 新增 Bench 基准测试工具,支持多模型与多格式性能输出
  • • 多项引擎优化(CUDA、Vulkan、GPU、KV Cache 等)
  • • 系统检测能力增强(VRAM、CPU、内存)

总结

Ollama v0.13.0 在模型多样化、性能评测、底层优化等方面都有大幅提升,其中DeepSeek-OCR为文档和图像处理带来更高效的解决方案,Bench 工具让开发者能够科学评估模型表现。对于需要高精度 OCR、跨模态输入、多环境部署的用户来说,这次更新值得关注与升级。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ