数据:比DeepSeek-VL多一倍优质训练数据,引入梗图理解、视觉定位、视觉故事生成等新能力;
架构:视觉部分使用切图策略支持动态分辨率图像,语言部分采用低成本、高性能的MoE架构;
训练:继承DeepSeek-VL的三阶段训练流程,同时通过负载均衡适配图像切片数量不定的困难,对图像和文本数据使用不同流水并行策略,对MoE语言模型引入专家并行,实现高效训练。