我们早已习惯打开 APP 或网站
就能用上各种 AI 功能
但你是否想过:如果哪天突然断网
这些基于云端的 AI 还能用吗?
为了建造一个真正让 AI 无处不在的智能世界
仅靠设备本地算力就能运行 AI 模型尤为重要
它们能在手机、汽车、家电中离线运行
让 AI 不止在云端,也可「落地」到你设备中
这就是端侧 AI(On-device AI)
和边缘 AI(Edge AI)的区别
从芯片到应用 全方位支持端侧 AI
﹀
﹀
﹀
01. 芯片
更强大的 AI 算力
NPU 是专为神经网络设计的 AI 处理单元,可为各种 AI 任务提供更强大的算力支持。
MeidaTek第八代 AI 处理器——MediaTek NPU 890,作为智能体化 AI 引擎,可显著提升移动设备的 AI 的性能和能力,以满足全球千行百业对生成式 AI 和智能体 AI 运行大模型的需求。
MediaTek NPU 890 搭载的增强型推理解码技术(Enhanced SPD),可使端侧推理速度提升20%,并支持端侧离线运行 DeepSeek-R1-Distill(1.5B/7B/8B)模型。
MediaTek Kompanio Ultra 旗舰处理器内置第八代 NPU,AI 算力可达 50 TOPS(Tera Operations Per Second – 每秒万亿次操作),带来更强的边缘算力,能在终端离线提供快速、安全、高效率的 AI 运算处理能力。强悍 AI 芯片,无惧断网离线!
02. 模型
更轻便易用的本地 AI 大模型
作为推动 AI 进一步发展的先进技术,终端侧部署生成式 AI(端侧 AI)与云端部署生成式 AI 应用和服务相比,在节约服务器成本、保护用户信息安全、提升实时性和实现个性化用户体验等方面具备明显优势。
MediaTek 已与多家主流大模型厂商深度合作,在多款天玑旗舰移动平台上完成了大模型的端侧部署,即可实现在离线状态下即时、精准的多轮人机对话问答,并支持更多跨应用智能体化体验。此类合作改善了“软件适配难”“开发环境不完备”等诸多挑战,攻克大量底层适配及上层开发的系列技术及工程难题,真正把大模型“装进”手机芯片中,助力开发者们在未来创造出更多灵活、新奇、实用的 AI 应用。
03. 生态系统
更灵活多变的部署
AI 时代,智能早已不限于手机和电脑,更多终端设备如汽车、家电、路由器等,也统统想要「AI 一下」!
为帮助标准各异的设备高效部署 AI,MediaTek 推出并不断迭代NeuroPilot AI 开发工具,其中包括各类软件工具与 API 等。开发者可以通过NeuroPilot 简化的开发流程,高效完成 AI 模型的训练、优化到最终的部署,通过 MeidaTek 的芯片赋能汽车、物联网、智能家居、个人电脑等设备,让 AI 功能更好、更快、直接地运行在各种终端上,加速 AI 生态进化。
* 数据来源于 MediaTek 实验室
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |