链载Ai

标题: 把Deepseek部署到RK3576开发板实现AI对话，比和女朋友约会更有意思！ [打印本页]

作者: 链载Ai 时间: 4 小时前
标题: 把Deepseek部署到RK3576开发板实现AI对话，比和女朋友约会更有意思！

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; font-size: 17px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: 0.544px; orphans: 2; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; white-space: normal; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; line-height: 1.75em; text-align: left; visibility: visible; box-sizing: border-box !important; overflow-wrap: break-word !important;">前些时间299元入手买了一个鲁班猫3开发板，2+0配置的3576开发板。看到最近deepseek比较火，我查了一下根据以下公式计算，跑1.5B的大模型至少需要0.9GB的DDR空间。看到这里，大佬们应该知道我要干啥了，但是那是后续的事，今天打算先把前奏搞定，那就是升级这只猫的配置。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;line-height: 2em;box-sizing: border-box !important;overflow-wrap: break-word !important;">为了把嵌入式工程师能自己动手的绝不购买的原则，我选择从别的板子上拆了片4GB的LPDDR4X。我查看了一下鲁班猫3的原理图，它板载的DDR是国产兼容LPDDR4和LPDDR4X的颗粒，查看原理图和PCB位号发现默认的VDDQ1是0.6V，默认LPDDR4X模式。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;line-height: 2em;box-sizing: border-box !important;overflow-wrap: break-word !important;">电源部分控制上电的电路细节如图，这里做了一个兼容设计，贴Q9不贴R110就是LPDDR4，贴R110不贴Q9就是LPDDR4X。

ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;line-height: 2em;box-sizing: border-box !important;overflow-wrap: break-word !important;">拿出钢网刮锡植球，183度低温锡膏，350度中风，吹啊吹我的骄傲放纵....

这个板子DDR布局离排针太近啦，拆焊时候注意别排针搞化啦，原出厂是高温锡，400度3档，啊吹~啊，吹~啊，镊子一碰哎嘿，有动静了夹起，完美。烙铁350度，放点助焊剂，哎嘿，拖的平平的。

植好球的芯片放上，我们是低温锡，350度够了，我是风儿，你是沙，飘飘洒洒，就焊上啦。开机完美，鲁班猫3顺利从哈基米进化成Tom了，从2+0进化到4+128的配置了。

硬件搞定，下一个目标，跑起来基于npu的deepseek。此处参考鲁班猫rkllm教程。

Git clone一下RK官方的airockchip仓库，再安装一下conda，按照教程先配置一下PC的工具环境，鉴于只有4GB内存，我考虑先来个deepseek 1.5B吧。下载一下模型，用官方脚本量化。看看这些有趣的量化问题和量化时我PC的资源占用。通过这些问题微调模型。

然后修改NPU的模型参数，开始模型转换，转换成rkllm文件，直接scp发到板子上。

板端用make一下demo的源码，然后运行一下demo，加载上rkllm的模型。跑起来了，效率蛮不错的，刷刷刷的，有了NPU的加持，CPU也被解放出来啦，可以做更多的事情了。简单写个Rust生成斐波那契数列，各种问题都能考虑到，真的神奇。在这样小一个芯片上，以如此的速度跑起来这样神奇的功能，仿佛机器真的有了生命。

RK3576是目前体验嵌入式AI大模型性价比最优之选，成功部署之后，来个对话，太好玩了，甚至比和女朋友约会还有趣。大家如果感兴趣，可以一起来试试。

想看更多电子产品拆解，可以关注下面这个公众号：

欢迎光临链载Ai (https://www.lianzai.com/)