ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">背景介绍ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在人工智能(AI)模型的开发过程中，通常需要对模型进行微调以适应特定任务和数据集。然而，各种模型的微调过程和配置各不相同，差异很大，涉及到的参数众多，微小的改变可能导致模型的性能有显著的差距。这使得微调成为一项耗时耗力却又关键至极的过程。如何用更少的时间和更低的复杂度细调模型，并在多个配置和架构中流畅无阻，是 AI 开发者一直在探索和实践的问题。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">今天要给大家推荐一个 GitHub 开源项目 axolotl，该项目在 GitHub 有超过 2.8k Star，用一句话介绍该项目就是：“Go ahead and axolotl questions”。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">项目介绍ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Axolotl 能帮你轻松地微调各种 AI 模型，无论是各种Huggingface模型，如llama，pythia，falcon，mpt，还是其他一些主流架构如lora、qlora、relora、gptq，Axolotl 都能提供全面的支持。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">你可以通过简易的yaml文件或者命令行覆写来定制配置，支持加载不同的数据集格式，甚至可以携带自定义的分词数据集。Axolotl 还与xformer，flash attention，rope scaling，multipacking等强大功能集成，无论是使用单个GPU还是通过FSDP或Deepspeed使用多个GPU，Axolotl 都能处理。其过程可以轻松地在本地或云端通过Docker运行，并且你还可以将结果以及可选的检查点记录到wandb。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">如何使用ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">安装 Axolotl 只需要拥有Python 3.9 或以上版本以及 Pytorch 2.0 或以上版本。你可以直接从 GitHub 下载源代码并运行 install 命令，或者在项目目录文件夹下通过 pip 运行 install 命令。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">配置完成后，你就可以开始进行微调操作了，无论是训练、推理还是其他操作，只需要一行命令，轻松完成。以下是一些示例：ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;padding: 1em;margin: 10px 8px;">#preprocessdatasets-optionalbutrecommended
CUDA_VISIBLE_DEVICES=""python-maxolotl.cli.preprocessexamples/openllama-3b/lora.yml
#finetunelora
acceleratelaunch-maxolotl.cli.trainexamples/openllama-3b/lora.yml
#inference
acceleratelaunch-maxolotl.cli.inferenceexamples/openllama-3b/lora.yml\
--lora_model_dir="./lora-out"
#gradio
acceleratelaunch-maxolotl.cli.inferenceexamples/openllama-3b/lora.yml\
--lora_model_dir="./lora-out"--gradio项目推介项目的开发团队来自 OpenAccess AI Collective，这是一个主张 AI 开放的团体。Axolotl 有一队长期维护并保障其运行稳定和功能更新的工程师团队，你无需担心项目的维护和更新问题，并可以享受到这个开源项目带来的所有优点。 以下是该项目 Star 趋势图（代表项目的活跃程度）： 
|
