链载Ai

标题: 微软Phi-3.5-Mini-Instruct全参微调中文版来啦 [打印本页]

作者: 链载Ai 时间: 昨天 11:08
标题: 微软Phi-3.5-Mini-Instruct全参微调中文版来啦

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin-right: auto;margin-bottom: 1em;margin-left: auto;padding-right: 1em;padding-left: 1em;border-bottom: 2px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">Phi-3.5-Mini-Instruct-Chinese

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.1em;font-weight: bold;margin-top: 2em;margin-right: 8px;margin-bottom: 0.75em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">简介

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">8月21日，微软发布了Phi-3.5-mini-instruct模型。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Phi-3.5-mini-instruct是Phi-3模型家族的最新成员，专为高效、先进的自然语言处理任务而设计。该模型具有 38 亿个参数，基于Phi-3 的数据集（合成数据和经过筛选的公开网站）构建，重点关注高质量、推理密集的数据。该模型属于 Phi-3 模型系列，支持 128K 令牌上下文长度。经过了严格的增强过程，结合了监督微调、近端策略优化和直接偏好优化，以确保精确遵守指令和强大的安全措施。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Phi-3.5 mini 在中文场景有所增强，但是受限于模型的大小，依然会有较多的事实错误。为了更好地适应中文场景，OpenCSG社区对Phi-3.5-mini-instruct模型进行了全参数微调，推出了中文版。这一版本基于大量中文语料，进行了深度优化，以提升模型在中文自然语言处理任务中的表现。经过微调的中文版在语义理解、上下文关联和文本生成的质量上均有显著提升，能够更好地满足中文用户在各种应用场景中的需求。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.1em;font-weight: bold;margin-top: 2em;margin-right: 8px;margin-bottom: 0.75em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">推理效果

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">与原始的instruct版类似，模型对中文内容理解的更加准确，输出的内容也更偏向中文，并且确保了问答性能与用户体验的优化。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;color: rgb(63, 63, 63);">

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">经过中文微调的模型在各种应用场景中的需求，如语义理解、上下文关联和文本生成等方面有显著提升。以上对比测试显示，Phi-3.5 Mini Instruct 中文版在中文自然语言处理任务中的表现显著优于原始版本，这验证了微调过程的有效性，并展示了模型在中文语境下的适应能力和强大的生成性能。

欢迎光临链载Ai (https://www.lianzai.com/)