混合专家架构(MoE):DeepSeek-R1 采用创新的混合专家架构,模型能够根据输入内容动态调用不同的专家网络,在保持相似计算成本的情况下,大幅提升模型的参数规模和性能 。
优化注意力计算:对传统 Transformer 架构中的注意力计算方法进行优化,提高计算效率,并增强模型对长文本的处理能力 。
组相对策略优化(GRPO)算法:
例如解方程「3x+5=20」,模型会生成10种解法(如代数法、图像法)。系统像老师批卷:选正确率最高的3种作为参考答案,淘汰错误方法。通过不断对比择优,模型解题准确率快速提升。
优势:使模型参数量减少 40%-60%,无需单独的价值模型,显著降低内存和计算开销,增强模型的数学推理能力 。
原理:GRPO 通过组内奖励对比直接优化策略网络,将同一问题生成的 N 条候选答案划分为组,以组内平均奖励为基线,计算相对优势值,避免了传统 RL 中复杂价值模型(Critic)的构建需求 。
双重奖励系统:包含准确性和格式两个奖励,准确性奖励针对数学问题等确定性任务,格式奖励引导模型使用标准化的思考过程格式,提高输出的结构化程度和可解释性 。
模板化 RLHF 训练:开发简洁有效的训练模板,提供清晰的推理过程生成指南,强调结构化输出格式,便于观察和评估模型的学习进展 。
多教师协同蒸馏:
动态权重分配:根据任务类型自动调整教师模型(R1-70B、R1-32B)的贡献权重,如在数学推理中赋予 70B 模型 80% 权重,而在代码生成中采用 50%-50% 均衡分配 。
注意力迁移技术:将教师模型的交叉注意力分布作为软标签,指导学生模型学习长程依赖关系,使 7B 模型在 Codeforces 竞赛中的解题能力提升 29.4% 。
量化感知训练:在蒸馏过程中引入 4-bit 量化模拟,确保小模型在边缘设备部署时精度损失不超过 2%,例如 1.5B 模型在树莓派 5 上运行耗时仅 3.2 秒 / 问题,功耗不足 5W 。
DeepSeek-R1 和 Alpha 在训练方式上。DeepSeek-R1 通过强化学习和多阶段训练策略,能够在较少的数据量和计算资源下达到较高的性能,特别适合需要复杂推理的任务。而 Alpha 则通过监督学习和强化学习相结合的方式,给出围棋规则,利用大量的人工标注数据和人类反馈来提升模型的性能,继承了人类的上限
https://metaso.cn/
如果不是写着671B 全尺寸 满血版 的基本都是被阉割过的
大厂薅羊毛
https://www.volcengine.com/
https://cloud.siliconflow.cn/i/2cGUfGEi(比较慢)
https://ppinfra.com/user/register?invited_by=AMAJ1C(比较快)
https://q05hlvbg0wa.feishu.cn/wiki/YJNgwOmrQiEkOpkMuswcLvWjnKc?from=from_copylink
链接:https://pan.quark.cn/s/b6c45c9911de
提取码:aqpM
V1.0版本:2025-2-9
1、基于ollama、open-webui,整合deepseek模型,不用配置环境变量、不用下载模型,解压即用。
from runtime import Args
fromtypings.deepseek_R1_siliconflow.deepseek_R1_siliconflowimportInput,Output
importhttp.client
importjson
defhandler(args:Args[Input])->Output:
#从输入参数中获取用户输入的内容和API密钥
user_input=args.input.user_input
api_key=args.input.api_key#假设用户输入的api_key通过此字段传入
ifnotapi_key:
return{"message":"APIKeyismissing.PleaseprovideavalidAPIKey."}
#API请求的URL和路径
conn=http.client.HTTPSConnection("api.siliconflow.cn")
payload=json.dumps({
"model":"deepseek-ai/DeepSeek-R1",#使用DeepSeek-R1模型
"messages":[{
"role":"user",
"content":user_input
}
],
"stream":False,
"max_tokens":512,
"stop":["null"],
"temperature":0.7,
"top_p":0.7,
"top_k":50,
"frequency_penalty":0.5,
"n":1,
"response_format":{"type":"text"},
})
headers={
"Authorization":f"Bearer{api_key}",#使用用户提供的APIKey
"Content-Type":"application/json"
}
#发送POST请求
conn.request("POST","/v1/chat/completions",body=payload,headers=headers)
response=conn.getresponse()
#检查请求是否成功
ifresponse.status==200:
#解析响应数据
response_data=json.loads(response.read().decode("utf-8"))
#提取content和reasoning_content
content=response_data["choices"][0]["message"].get("content","")
reasoning_content=response_data["choices"][0]["message"].get("reasoning_content","")
#返回API的响应内容,包括reasoning_content
return{
"reasoning_content":reasoning_content,
"message":content
}
else:
#如果请求失败,返回错误信息
return{"message":f"APIrequestfailedwithstatuscode{response.status}"}硅基流动容易timeout
504 / 503:通常是由于服务系统负载较高,请稍后重试。对于聊天和文本转语音请求,请尝试使用流模式 (“stream” :true )。请参阅流模式。
https://ppinfra.com/user/register?invited_by=AMAJ1C
from runtime import Args
fromtypings.DeepSeek_R1.DeepSeek_R1importInput,Output
importhttp.client
importjson
defhandler(args:Args[Input])->Output:
#从输入参数中获取用户输入的内容和API密钥
user_input=args.input.user_input
api_key=args.input.api_key
ifnotapi_key:
return{"message":"APIKeyismissing.PleaseprovideavalidAPIKey."}
#API请求的URL和路径
conn=http.client.HTTPSConnection("api.ppinfra.com")
payload=json.dumps({
"model":"deepseek/deepseek-r1/community",
"messages":[
{
"role":"system",
"content":"你是DeepSeek,你会以诚实专业的态度帮助用户,用中文回答问题。"
},
{
"role":"user",
"content":user_input
}
],
"response_format":{"type":"text"},
"max_tokens":8192,
"temperature":1,
"top_p":1,
"min_p":0,
"top_k":50,
"presence_penalty":0,
"frequency_penalty":0,
"repetition_penalty":1
})
headers={
"Authorization":f"Bearer{api_key}",
"Content-Type":"application/json"
}
#发送POST请求
conn.request("POST","/v3/openai/chat/completions",body=payload,headers=headers)
response=conn.getresponse()
#检查请求是否成功
ifresponse.status==200:
#解析响应数据
response_data=json.loads(response.read().decode("utf-8"))
#获取完整的响应内容
full_content=response_data["choices"][0]["message"].get("content","")
#提取思维链内容和最终回答
reasoning_content=""
message=full_content
#如果内容中包含<think>标签
if"<think>"infull_contentand"</think>"infull_content:
think_start=full_content.find("<think>")+len("<think>")
think_end=full_content.find("</think>")
#提取思维链内容
reasoning_content=full_content[think_start:think_end].strip()
#提取最终回答(移除思维链部分)
message=full_content[think_end+len("</think>"):].strip()
return{
"reasoning_content":reasoning_content,
"message":message
}
else:
#如果请求失败,返回错误信息
return{"message":f"APIrequestfailedwithstatuscode{response.status}"}
设置好代码后设置元数据,别忘记保存
输入参数:user_input/api_key
输出参数:reasoning_content/message
{
"user_input":"9.11和9.9谁大",
"api_key":"这里填写你的api"
}调试成功
点击右上角发布
在插件里手动填入api_key
记得引用出参为结束节点的变量
测试成功
也可以做成两次回复
手搓联网ds 自己的专家级ai搜索
学习完今天的图文教程,在感谢您一键三连评论区回复"YYDS"截图添加文章底部舰长微信,领取"Deepseek深度教学指南",加入舰长扣子智能体交流社群,一起进行deepseek讨论。
关注公众号并添加舰长微信,领取智能体学习资料,并参与Coze技术直播讲解
舰长积极创建智能体;工作流交流群,让我们在AI时代一起进步互相学习!每天会在群里分享智能体的搭建,欢迎各位小伙伴加入~
船长团队创作智能体专栏小册,里面有最新进阶的Coze智能体文章,在文章有收获的同时,可以分销而获取60%的小册费用,聚财成多
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |