编者荐语
大模型时代模型规模不断扩大，模型训练和推理对计算资源的需求日益增加，这制约了模型在实际应用中的广泛部署。本文论证了生成式数据驱动的模型蒸馏技术不仅是模型压缩的技术工具，更能有效提升模型性能，实现知识迁移的目标。期待本文能为相关技术人员和学者提供有益启发。
生成式数据驱动的模型蒸馏技术探索与实践
亚信科技（中国）有限公司
摘要：大模型时代下，算力需求攀升、行业数据难题凸显，生成式数据驱动的模型蒸馏技术成为突破模型压缩与知识迁移瓶颈的关键。本文通过研究和实践表明，生成式数据驱动的模型蒸馏技术可有效缓解构建行业大模型过程中行业数据标注成本高、隐私限制严等难题，有效提升行业大模型的准确性。
一
引言
人工智能发展历程从规则驱动到机器学习，现已迈入大模型时代，大模型在众多领域展现出了强大的性能。随着模型规模不断扩大，模型训练和推理对计算资源的需求也日益增加，限制了其在实际应用中的广泛部署。蒸馏作为一种有效的模型压缩技术，能够将大型复杂模型的知识迁移到小型简单模型中，使小型模型在性能上接近大模型，同时降低计算成本和资源消耗。
蒸馏的核心机制在于数据驱动的知识传递范式。数据在此过程中承担双重功能：既是承载教师模型决策逻辑的知识载体，也是校准学生模型泛化能力的基准标尺。然而在行业应用场景中，数据的高度异构性与领域依赖性对通用蒸馏方法构成严峻挑战。由于行业数据的独特分布和特性，获取高质量标注数据面临双重困境：一方面，专业标注依赖领域专家参与，如金融风险标签需分析师验证，医疗诊断标注需临床经验支撑，导致标注成本与时间开销激增；另一方面，数据隐私合规要求（如GDPR、CCPA）对原始数据的访问和使用施加严格限制，迫使蒸馏过程依赖间接数据或脱敏样本，这促使研究者转向生成式数据驱动模型蒸馏技术的研究和探索。通过大模型生成大量模拟数据，或基于有限标注样本进行语义重构，这些数据在分布和特性上与真实数据相似，从而为模型蒸馏提供了更丰富的训练资源。通过这种方式，生成式数据驱动的模型蒸馏技术突破了传统数据集的限制，能够在数据稀缺或标注困难的场景下实现有效的知识传递。
本文研究目的是深入探讨生成式数据驱动的模型蒸馏技术以及其在构建行业大模型中的应用。通过对该技术的系统研究和实践应用，为相关领域的研究人员和从业者提供理论支持和实践指导。
二
模型蒸馏介绍
模型蒸馏是一种模型压缩与优化技术，通过将大型复杂模型（教师模型）的知识迁移到小型简单模型（学生模型）中，使学生模型在保持较小规模的同时，尽量接近教师模型的性能，从而显著降低计算成本、内存占用和存储需求，同时保持较高的性能水平。
教师模型（Teacher Model）：通常是经过大量数据训练的复杂模型，拥有较高的准确率和丰富的知识。在模型蒸馏过程中，它扮演着传授知识的角色。
知识（Knowledge）：知识是通过大量的数据训练获得的，包括各种特征的识别能力、数据的内在规律等。
学生模型（Student Model）：是一个结构更简单、参数更少的模型，目标是通过学习教师模型的知识来提升自己的性能。
图 1：模型蒸馏示意图
模型蒸馏的作用主要体现在以下几个方面：
模型压缩与优化
模型蒸馏能够将大型模型的知识提取并压缩到小型模型中，使其更易于部署在资源受限的设备上，如移动设备和嵌入式系统，降低硬件需求和运营成本，提高系统的整体性能。
加速推理过程
通过减少模型的参数量和计算复杂度，模型蒸馏可以显著提高模型的推理速度，满足实时响应的要求，如在实时推荐系统等场景中，模型蒸馏能够使模型更快地给出推理结果，提升用户体验。
保护数据隐私
在数据隐私受限的场景下，如医疗和金融行业，模型蒸馏可以在不直接使用原始数据的情况下，通过教师模型的输出或中间特征来训练学生模型，从而避免了数据隐私泄露的风险。
多模型融合与迁移学习
模型蒸馏可以将多个教师模型的知识融合到一个学生模型中，实现“多师带一徒”，在单模型大小不变的情况下获得更高精度；还可以将一个领域的知识迁移到另一个相关领域，帮助模型更好地适应新的数据分布和任务需求。
三
模型蒸馏流程
根据大语言模型模型蒸馏的流程，模型蒸馏可分解为两大阶段：
（一） 知识提取
知识提取即如何从教师模型中获取知识。其过程主要包括：首先构建指令来确定要从教师模型中蒸馏的技能或垂直领域的能力，然后使用种子知识（如某个数据集）作为输入来驱动教师模型，生成对应的回应，从而将相应的知识引导出来。
1. 知识提取方法
根据从教师模型中获取知识的方式，今年 2 月份发表的综述文章[1]将其技术分为标注 (Labeling)、扩展 (Expansion)、数据合成 (Data Curation)、特征抽取 (Feature)、反馈 (Feedback)、自生成的知识 (Self-Knowledge)。每个方式的示例如下图所示：
图 2：知识提取示意图
标注：知识标注是指由教师模型根据指令或示例，对给定的输入作为种子知识，生成对应的输出。例如，种子知识为某一个数据集的输入，教师模型标注思维链输出。
扩展：利用 LLMs 的上下文学习能力，根据提供的种子示例，来生成与示例相似的数据。其优点在于通过示例能生成更加多样化和广泛的数据集。但是随着生成数据的继续增大，可能会造成数据同质化问题。
数据合成：数据合成的一个显著特点是其从零开始合成数据。其利用大量且多样的元信息（如话题、知文档、原始数据等）来作为多样且巨量的种子知识，以从教师模型中获取规模庞大而且质量高的数据集。
特征获取：获取特征知识的典型方法主要为将输入输出序列输出到教师 LLMs 中，然后抽取其内部表示。
反馈：反馈知识通常为教师模型对学生的输出提供反馈，如提供偏好、评估或纠正信息来指导学生生成更好输出。
自生成知识：知识也可以从学生自身中获取，称之为自生成知识。在这种情况下，同一个模型既充当教师又充当学生，通过模型蒸馏技术以及改进自己先前生成的输出来迭代地改进自己。
2. 数据评估
在知识提取过程中，对数据进行评估和筛选是确保蒸馏效果和学生模型性能的关键环节。业界内普通使用的数据评估维度包括：数据质量、多样性、复杂度/困难度。高质量的数据能够更好地保留教师模型的特征和决策逻辑，使学生模型能够在训练过程中学习到更丰富的信息，从而提高蒸馏效果。同时，数据的多样性和复杂度，可以使蒸馏模型能够覆盖多种场景和任务，帮助蒸馏模型在面对不同类型的输入时表现更加稳定和准确，提高模型的泛化能力。
数据质量
一致性：数据在不同的来源、时间点和格式之间应保持一致。可以通过数据格式检查、关联数据验证等方法来评估。
准确性：数据应准确地反映现实世界中的情况或遵循特定的规则和逻辑。可以通过与真实数据的对比、专家评估等方式来验证数据的准确性。
完整性：数据应包含所有对模型学习和任务完成有帮助的必要信息。可以通过检查数据的字段完整性、记录完整性等来评估。
多样性
内容多样性：数据应涵盖广泛的主题、领域和内容类型。可以通过统计数据的主题分布、类别分布等来评估。
形式多样性：数据的表现形式也应多样化，如在图像数据中，可以包括不同分辨率、颜色空间、拍摄角度、光照条件等的图像；在文本数据中，可以包含不同的句子结构、词汇用法、语言风格等。
观点多样性：对于同一个问题或主题，合成数据可以包含多种不同的观点、意见和立场。
复杂度
数据复杂度：指数据本身的复杂程度，如数据的规模、维度、数据之间的关系等。可以通过数据的统计特征、信息熵等指标来评估。
任务复杂度：根据模型所要完成的任务来设计具有相应复杂度的数据。可以通过任务的难度级别、数据的挑战性等来评估。
问题复杂度：对于一些需要模型进行推理、分析和解决问题的任务，合成数据可以包含具有一定难度和复杂性的问题。
其中，质量与多样性之间往往存在权衡关系，这种权衡对模型性能有直接影响。在合成数据生成过程中，生成高质量数据可能会限制数据的多样性，反之亦然。例如，过于追求数据的准确性可能会导致数据来源单一、内容相似，从而降低数据的多样性；而过度追求多样性可能会引入一些质量较低的数据，影响模型的学习效果。因此，需要通过合理选择和优化合成数据生成算法、调整数据生成过程中的参数和策略等，来平衡数据的质量和多样性，以实现最佳的模型性能。
通过全面评估合成数据的质量、多样性和复杂度，可以确保模型蒸馏过程的有效性和学生模型的性能。数据评估结果还可以反馈给数据生成模块，用于优化生成过程，进一步提升合成数据的质量。下面将分别三种常用的评估方法：
基于规则的方法：通过预设的规则对数据进行检查，例如：对比标准答案、校验格式、长度判断、重复判断等，这种方法适用于明确的质量标准和格式要求，具有简单直观、易于理解和实现等优点，能够快速筛选出不符合基本要求的数据。
基于 Reward model 的方法：借助专门训练的奖励模型对数据质量进行量化评分，能够提供更细致的数据质量反馈，这种方法的评分方式包括相对分数、绝对分数、评论+分数、多数投票等。它适用于需要量化评估数据质量的场景，帮助我们更精准地选择高质量数据。
基于 LLM-as-Judge 的方法：利用强大的语言模型作为评判工具，从多个角度对数据进行综合评估，例如：维度导向、规则导向、多数投票等角度。这种方法适用于处理复杂的、语义丰富的数据，能够提供更深入的数据质量分析，帮助我们全面理解数据的特点和质量。
3. 数据筛选
数据评估完成后，需要依据数据评估的结果对数据进行筛选。通过精心设计的数据筛选流程，可以去除低质量、不相关或冗余的数据，保留高质量、多样化的数据，从而提高学生模型的学习效率和泛化能力。常用的数据筛选的方法有：
图 3：数据筛选示意图
语言过滤：对数据进行语言甄别，仅保留符合目标语言的数据，去除其他语言的干扰，确保模型专注于特定语言的学习任务。
启发式（规则）筛选：运用启发式规则或预设的简单规则进行初步筛选。例如设定文本长度阈值，去除过短或过长的文本；或依据关键词等简单规则，快速过滤掉明显不相关数据。
数据质量筛选：根据数据质量评估的结果，去除明显错误或质量低劣的数据，保留高质量的数据。
领域特定筛选：根据不同领域的专业要求和特点，对数据进行深度筛选。如在医学领域，保留专业医学术语和典型病症描述的数据，确保数据契合领域需求。
去重处理：识别并去除重复的数据项，避免模型因重复学习而泛化能力不足，同时减少冗余提高训练效率。
有毒/显示内容过滤：识别并过滤掉包含有毒、有害或不宜展示的内容，确保数据的合法性和安全性。
数据混合：将不同类型、不同来源的数据进行混合，构建一个综合性的数据集，以提升学生模型的泛化能力和适应能力。
（二） 蒸馏方式
获取知识之后，就需要将模型蒸馏到学生模型中。常用的蒸馏方式主要有：有监督微调、强化学习、偏好对齐。除此之外，还有监督微调+强化学习或监督微调+偏好对齐组合蒸馏方式。
监督微调（Supervised Fine-tuning）：监督微调通过最大化教师模型生成的序列的似然性来微调学生模型，让学生模型来模仿教师模型。这是目前LLMs模型蒸馏中最常用的一个技术。例如：DeepSeek-R1-Distill模型就是使用DeepSeek-R1全面微调时的训练集（80w样本），基于开源模型（Qwen、Llama）进行监督微调得到的。
强化学习（Reinforcement Learning）：强化学习通过构建“状态-动作-奖励”的交互框架，利用教师模型的反馈知识（如输出质量评分、风险预测信号）优化学生模型的行为策略。其核心是通过迭代式策略优化，使学生模型的决策逐步逼近教师模型的专家级表现，同时适应特定任务的目标（如风险最小化、收益最大化）。与监督微调蒸馏方法相比，强化学习更关注动态环境下的长期收益优化。该算法适用于利用教师的反馈知识来训练学生模型。主要有两个方面：（1）使用教师生成的反馈数据训练一个学生奖励模型，（2）通过训练好的奖励模型，以最大化预期奖励来优化学生模型。教师也可以直接作为奖励模型。
偏好对齐（Preference Alignment）：偏好对齐是一种通过显式优化目标函数，将人类或教师模型的行为偏好（如输出安全性、逻辑一致性、风格匹配等）直接注入学生模型的训练方法，使其符合人类的偏好和价值观。其核心是通过对比学习或排序学习，使学生模型的输出分布与目标偏好分布对齐，而非单纯模仿教师模型的输出概率或特征表示，其优点在于稳定且计算效率高。一些经典算法如直接偏好优化（DPO）和无梯度偏好优化（RRHF）等，都是实现偏好对齐的有效手段。例如在情感生成任务中，使用 DPO 算法和 GPT-2-large 模型，给定电影评论前缀生成情感为正的回复。
监督微调+强化学习：在进行强化学习之前，可以引入一个“Warm Up”或者“Cold Start”阶段，即SFT训练，用于对基础模型进行“热身”，避免在强化学习阶段的初期出现不稳定的现象。再用大量数据进行强化学习的训练。例如：Fin-R1金融大模型就是借助DeepSeek的推理能力基于SFT+GRPO的蒸馏方式训练得到的。
监督微调+偏好对齐：通过分阶段训练策略，先利用监督微调（SFT）建立学生模型的基础能力，再通过偏好对齐优化其行为特性，实现知识迁移与偏好约束的双重目标。该组合方法既能继承教师模型的知识密度，又能注入领域特定的行为准则（如安全性、逻辑严谨性）。
四
亚信科技基于DeepSeek的
编程行业大模型蒸馏实践
生成式数据驱动的模型蒸馏技术在行业应用中展现了巨大的潜力，尤其一些特定领域的应用。通过合成数据替代真实数据参与模型压缩，不仅解决了行业场景中数据稀缺、隐私合规和算力约束等核心痛点，还实现了领域知识的高效迁移与轻量化模型的性能优化。通过定制化训练，该技术能够显著提升模型在专业场景下的性能，实现领域知识的深度整合。同时，它还能够在保护数据隐私的前提下，满足实时性要求，并有效平衡模型的泛化能力。以下介绍在亚信科技渊思·通用人工智能与认知增强平台（简称 TAC MaaS 平台）上的模型蒸馏具体实践。
亚信科技渊思·通用人工智能与认知增强平台是亚信科技全力打造的智能化 MaaS 底座和“一站式”企业级 AI 平台，可提供全栈 AI 技术、开箱即用的 MaaS 服务，有效弥合通用大模型与行业应用的“鸿沟”。从模型选择、数据生成、模型训练、模型评估、安全防护和模型部署六步法，快速将模型蒸馏技术应用在行业大模型的构建中，贯穿 TAC MaaS 行业大模型的全生命周期。
图 4：MaaS 平台模型蒸馏流程示意图
（一） 模型选择
模型选择包括教师模型选择和学生模型选择。一般来说，教师模型的性能越强，结合行业数据训练出来的学生模型的性能也会比较强。但考虑到在编程场景需要针对代码和长COT推理能力，在算力上考虑GPU/NPU资源的分配和模型的参数量，因此模型选择如下：
教师模型采用高性能通用大模型（如DeepSeek-R1），通过API调用其代码生成与逻辑推理能力。
学生模型聚焦轻量化领域适配，选用7B级开源模型（如Qwen2.5-Coder-7B）。
关键选择维度包括：
场景适配性：侧重代码风格检查、单元测试生成等编程任务。
算力经济性：GPU/NPU资源消耗降低60%（对比34B级模型）。
平台集成度：通过模型广场统一纳管，支持一键式模型加载。
目前 TAC MaaS 平台的模型广场内置了开源大模型，并支持大、小模型统一纳管。如下图所示：
图 5：MaaS 平台模型广场界面
（二） 数据生成
MaaS 平台的数据集管理模块支持接入并对数据进行管理和预处理，为模型蒸馏提供高质量的样本数据集。用户可以按照不同的蒸馏方式，对应准备相应的数据集。
图 6：MaaS 平台样本数据选择配置界面
由于数据资源限制或模型蒸馏需求，通过 TAC MaaS 平台的模型蒸馏能力，可根据种子数据生成更多更丰富的数据，如下图所示，用户可根据实际数据现状，配置提示词，扩展生成更符合编程大模型所需的数据集。
图 7：模型蒸馏数据生成配置界面
（三） 模型训练
TAC MaaS 平台在模型训练时，支持多阶段训练：继续预训练（知识注入）、SFT 精调（能力提升）、强化学习/偏好对齐等。此外，TAC MaaS 平台还支持包括全参微调、LoRA、QLoRA 等多种模型微调策略，用户可根据需要，选择一种或多种组合的模型训练方式，如下图所示。
图 8：MaaS 平台模型训练配置界面
在本项目中，首先通过蒸馏阶段实现知识迁移——教师模型（如DeepSeek-R1）生成高质量编程蒸馏数据集，驱动学生模型（如 Qwen2.5-Coder-7B）通过监督微调（支持全参/LoRA/QLoRA 策略）训练出初级蒸馏模型（如 UsightsCoder-7B）；随后在强化微调阶段，基于 RL-GRPO 算法（扩展自 PPO/DPO框架）结合拒绝采样机制（筛选通过率< 15% 的高价值样本）对蒸馏模型进行深度优化，最终生成高性能轻量化模型（如UsightsCoder-7B-R）。
阶段1：模型蒸馏
技术路径：特征对齐+响应蒸馏
教师输出：DeepSeek-R1 生成的代码优化方案
阶段2：强化微调
算法架构：RL-GRPO（Generalized Reward Penalization Optimization）
核心机制：
拒绝采样筛选高价值样本（通过率 <15%）
动态奖励模型：
Rcode=0.4Raccuracy+0.3Refficiency+0.3Rsecurity
硬件加速：QLoRA 微调（GPU 显存占用降低 70%）
（四） 模型评估
TAC MaaS 平台提供了三种评估方式：通用能力评估、行业能力评估、自定义评估。其中，通用评估包括：知识、语言、理解、推理、学科、安全、长文本、代码等通用能力评估。行业评估支持运输、网络、通信、网络安全、金融、医学、法律、软件、科研、能源、工业等行业能力评估。自定义评估：根据应用需求，自建评估数据集，支持 QA 问答类场景等多项选择类场景。如下图所示：
图 9：模型评估配置界面
在本次实践中，针对编程式场景特点，建立编程场景三维评估体系：
如下表所示，经过蒸馏和多阶段强化微调，各项编程任务指标均有显著提升：
（五） 安全防护
为保证蒸馏模型的输入和输出内容合规安全，TAC MaaS 平台还提供了多种安全防护策略。安全防护支持攻击检测、拒绝主题、敏感词过滤、正则过滤等多种安全防护策略设定，如下图所示：
图 10：MaaS 平台安全防护配置界面
通过 TAC MaaS 平台构建编程场景专属防护体系：
输入过滤层：
代码注入攻击检测（正则规则库> 1,200 条）
敏感API调用阻断（如 os.system,eval()）
输出控制层：
安全注释生成（规避密钥泄露风险）
合规性检查器（符合 ISO/IEC 5055 标准）
（六） 模型部署服务
对于蒸馏训练好模型，TAC MaaS 平台支持部署成在线推理服务。后续用户可以根据实际模型的迭代，通过灰度发布，进行模型版本切换：
在线推理：将模型部署为可实时响应的服务，适用于对时效性要求高，需要快速、即时处理和反馈数据的应用场景。
灰度发布：在新模型全面部署到生产环境之前，可提供不同版本模型对应同一个服务的能力，通过设定分流规则，将服务流量分别发送到不同版本的模型上执行，对模型服务进行 AB 测试。
五
总结与展望
本文通过理论分析与实践证明，生成式数据驱动的模型蒸馏不仅是模型压缩的技术工具，还可以提升模型性能，达到知识迁移的效果，更是连接大模型能力与行业场景需求的桥梁。其发展将推动人工智能从“算力密集型”向“知识密集型”范式演进，为产业智能化升级提供可持续的技术支撑。未来亚信科技将紧紧抓住生成式数据驱动模型蒸馏技术带来的发展机遇，在技术创新、市场拓展、人才培养等多方面持续发力，不断提升核心竞争力，实现可持续的高质量发展，为客户创造更大价值，为推动人工智能技术在各行业的深入应用贡献力量。