通义千问Qwen2.5-Coder 全系列来咯！强大、多样、实用！ - 链载Ai

千问团队开源「强大」、「多样」、「实用」的 Qwen2.5-Coder 全系列，致力于持续推动 Open Code LLMs 的发展。

● 强大

wen2.5-Coder-32B-Instruct 成为目前 SOTA 的开源代码模型，代码能力追平 GPT-4o。在展现出强大且全面的代码能力的同时，具备良好的通用和数学能力;

●多样:在之前开源的两个尺寸 1.5B/7B 的基础上，本次开源共带来四个尺寸的模型，包括 0.5B/3B/14B/32B。截止目前 Qwen2.5-Coder 已经覆盖了主流的六个模型尺寸，以满足不同开发者的需要;

● 实用:在两种场景下探索 Qwen2.5-Coder 的实用性，包括代码助手和 Artifacts，一些样例展示出 Qwen2.5-Coder 在实际场景中应用的潜力;

●代码生成

wen2.5-Coder-32B-Instruct 作为本次开源的旗舰模型，在多个流行的代码生成基准(EvalPlus, LiveCodeBench, BigCodeBench)上都取得了开源模型中的最佳表现，并且达到和 GPT-4o 有竞争力的表现。

● 代码修复:代码修复是一个重要的编程能力，Qwen2.5-Coder-32B-Instruct 可以帮助用户修复代码中的错误，让编程更加高效。Aider 是流行的代码修复的基准，Qwen2.5-Coder-32B-Instruct 达到 73.7 分，在 Aider 上的表现与 GPT-4o 相当。

● 代码推理:代码推理指的是模型能否学习代码执行的过程，准确的预测模型的输入与输出。上个月发布的 Qwen2.5-Coder-7B-Instruct 已经在代码推理能力上展现出了不俗的表现，本次 32B 模型在代码推理上更进一步。

●多编程语言:智能的编程助手应该熟悉所有编程语言，Qwen2.5-Coder-32B-Instruct 在 40 多种编程语言上表现出色，在 McEval 上取得了 65.9 的分数，其中 Haskell, Racket 等语言表现令人印象深刻，这得益于在预训练阶段独特的数据清洗和配比。

另外，Qwen2.5-Coder-32B-Instruct的多编程语言的代码修复能力仍然令人惊喜，这将有助于用户理解和修改自己熟悉的编程语言，极大缓解陌生语言的学习成本。与McEval类似，MdEval是多编程语言的代码修复基准，Qwen2.5-Coder-32B-Instruct在MdEval上取得了75.2的分数，在所有开源模型中排名第一。

● 人类偏好对齐:为了检验 Qwen2.5-Coder-32B-Instruct 在人类偏好上的对齐表现，构建了一个来自内部标注的代码偏好评估基准 Code Arena(类似 Arena Hard)。采用 GPT-4o 作为偏好对齐的评测模型，采用 'A vs. B win' 的评测方式，即在测试集实例中，模型 A 的分数超过模型 B 的百分比。下图结果表现出 Qwen2.5-Coder-32B-Instruct 在偏好对齐方面的优势。

本次 Qwen2.5-Coder 开源了丰富的模型尺寸，共包含 0.5B/1.5B/3B/7B/14B/32B 六个尺寸，不仅能够满足开发者在不同资源场景下的需求，还能给研究社区提供良好的实验场。下表是详细的模型信息:

一直相信 Scaling Law 哲学。评估了不同尺寸的 Qwen2.5-Coder 在所有数据集上的表现，以验证 Scaling 在 Code LLMs 上的有效性。

对于每一个尺寸，都开源了 Base 和 Instruct 模型，其中 Instruct 模型作是一个可以直接聊天的官方对齐模型，Base 模型作为开发者微调自己模型的基座。

为了更加直观，展示了不同尺寸 Qwen2.5-Coder 和其他开源模型在核心数据集上的对比。

● 对于 Base 模型，选择 MBPP-3shot 作为评估指标，大量的实验表明，MBPP-3shot 更适合评估基础模型，且能够和模型的真实效果有较好的相关性。

● 对于 Instruct 模型，选择 LiveCodeBench 最新的 4 个月(2024.07 - 2024.11)的题目作为评估，这些最新公布的，不可能泄露到训练集的题目，能够反映模型的 OOD 能力。

模型尺寸和模型效果之间符合预期的存在正相关，并且 Qwen2.5-Coder 在所有尺寸下都取得了 SOTA 的表现，这鼓励着继续探索更大尺寸的 Coder。

Qwen2.5-Coder的0.5B、1.5B、7B、14B、32B模型均采用Apache 2.0许可证，3B模型使用“Research Only”许可。

frommodelscopeimportAutoModelForCausalLM,AutoTokenizermodel_name="Qwen/Qwen2.5-Coder-32B-Instruct-GPTQ-Int4"model=AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto",device_map="auto")tokenizer=AutoTokenizer.from_pretrained(model_name)prompt="writeaquicksortalgorithm."messages=[{"role":"system","content":"YouareQwen,createdbyAlibabaCloud.Youareahelpfulassistant."},{"role":"user","content":prompt}]text=tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs=tokenizer([text],return_tensors="pt").to(model.device)generated_ids=model.generate(**model_inputs,max_new_tokens=512)generated_ids=[output_ids[len(input_ids):]forinput_ids,output_idsinzip(model_inputs.input_ids,generated_ids)]response=tokenizer.batch_decode(generated_ids,skip_special_tokens=True)[0]

#设置下启用ollamaserve#ollamarunModelScope任意GGUF模型ollamarunmodelscope.cn/Qwen/Qwen2.5-32B-Instruct-GGUF

在安装了 Ollama 的环境上(建议使用>=0.3.12 版本)，直接通过上面的命令行，就可以直接在本地运行模型。

pipinstallvllm-UexportVLLM_USE_MODELSCOPE=TruevllmserveQwen/Qwen2.5-Coder-7B-Instruct#推理代码:fromopenaiimportOpenAI#ModifyOpenAI'sAPIkeyandAPIbasetousevLLM'sAPIserver.openai_api_key="EMPTY"openai_api_base="http://localhost:8000/v1"client=OpenAI(api_key=openai_api_key,base_url=openai_api_base,)completion=client.completions.create(model="Qwen/Qwen2.5-Coder-1.5B-Instruct",print("Completionresult:",completion)prompt="SanFranciscoisa")

我们介绍使用 ms-swift 对 qwen2.5-coder 进行自我认知微调，并对微调后模型进行推理。

自定义 dataset 支持传入本地路径、modelscope 和 huggingface 中的 dataset_id 。

https://swift.readthedocs.io/zh-cn/latest/Instruction/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%9 3%E5%B1%95.html#id3

#安装ms-swiftgitclonehttps://github.com/modelscope/ms-swift.gitcdswiftpipinstall-e.[llm]

#微调脚本:#Experimentalenvironment:A10,3090,V100,...#15GBGPUmemoryCUDA_VISIBLE_DEVICES=0swiftsft\--model_typeqwen2_5-coder-3b-instruct\--model_id_or_pathqwen/Qwen2.5-Coder-3B-Instruct\--datasetswift/self-cognition#500\AI-ModelScope/Magpie-Qwen2-Pro-200K-Chinese#500\AI-ModelScope/Magpie-Qwen2-Pro-200K-English#500\--logging_steps5\--max_length4096\--learning_rate1e-4\--output_diroutput\--lora_target_modulesALL\--model_name小黄'XiaoHuang'\--model_author魔搭ModelScope\--system'Youareahelpfulassistant.'

微调显存消耗:

微调后推理脚本如下，这里的 ckpt_dir 需要修改为训练生成的 last checkpoint 文件夹。

#Experimentalenvironment:A10,3090,V100,...#直接推理CUDA_VISIBLE_DEVICES=0swiftinfer\--ckpt_diroutput/qwen2_5-coder-3b-instruct/vx-xxx/checkpoint-xxx#使用vLLM进行推理加速CUDA_VISIBLE_DEVICES=0swiftinfer\--ckpt_diroutput/qwen2_5-coder-3b-instruct/vx-xxx/checkpoint-xxx\--infer_backendvllm--max_model_len8192--merge_loratrue

实用的 Coder 一直是的愿景，为此本次探索了 Qwen2.5-Coder 在代码助手、 Artifacts 、interpreter 场景下的实际表现。

只能代码助手目前已经得到广泛的应用，但目前大多依赖闭源模型，希望 Qwen2.5-Coder 的出现能够为开发者提供一个友好且强大的选择。

gitclonehttps://www.modelscope.cn/studios/Qwen/Qwen2.5-Coder-Artifacts.gitcdQwen2.5-Coder-Artifactspipinstall-rrequirements.txtpipinstallgradiopythonapp.py

frominterpreterimportinterpreterinterpreter.llm.api_base="YOUR_BASE_URL"interpreter.llm.api_key="YOUR_API_KEY"interpreter.llm.model="openai/Qwen-Coder-32B-Instruct"interpreter.chat("Canyousetmysystemtolightmode?")