链载Ai

标题: DeepSeek等8种大模型本地化部署及其表现 [打印本页]

作者: 链载Ai    时间: 6 小时前
标题: DeepSeek等8种大模型本地化部署及其表现

01

背景

由于访问过多,目前满血版DeepSeek R1 (深度思考模式)使用经常受限:
付费API的deepseek-reasoner模式也同样受限:
OpenAI开放了免注册的chatbox,但还是有地区使用限制。
本地化部署大模型有多种方式:Ollama和vLLM等。本文主要介绍Ollama的蒸馏模型(Distilled models)部署及其表现。

02

目的


测试本地化部署的LLMs在单细胞注释分析中的表现

03

方法


1. 下载Ollama。直接在官网下载,很方便。
2. 加载模型。
ollamarundeepseek-r1:7b
为了匹配用户的硬件条件,Ollama提供了不同大小的蒸馏模型。7b的蒸馏小模型比较适合大多数个人电脑(16GB内存)。这里的7b表示70亿参数量。模型文件的大小主要受参数量和精度(precision)影响。参数量和精度越高,对硬件的性能要求越大。为了方便做比较,ollama本地化部署模型的参数量和精度分别为7b~9b和4bit。
3. 测试本地化蒸馏模型在单细胞注释中的表现。
#调用本地模型之前运行:ollamaserve
gitclonehttps://github.com/Zhihao-Huang/scPioneercdscPioneerRscript./result/annotation_locally_test.R

04

结果


基于API的满血版大模型的结果:
本地化蒸馏模型的结果:

05

总结


1. 本地化部署的DeepSeek R1的准确率远不如满血版的DeepSeek。API的DeepSeek V3和DeepSeek R1的表现不俗。
2. 本地化模型中,llama3.1:8b的准确率最高;deepseek-r1的两个蒸馏版本70b和7b表现欠佳。
3. 7b+4bit的本地化模型需要5GB内存。CPU型号 Xeon(R) Gold 6238R CPU @ 2.20GHz,用50个逻辑核心数运行,需要1分钟左右。推荐个人电脑使用7b左右的参数量。







欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5