链载Ai

标题: 一个框架轻松微调各种 AI 大模型 [打印本页]

作者: 链载Ai 时间: 昨天 21:19
标题: 一个框架轻松微调各种 AI 大模型

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">背景介绍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在人工智能(AI)模型的开发过程中，通常需要对模型进行微调以适应特定任务和数据集。然而，各种模型的微调过程和配置各不相同，差异很大，涉及到的参数众多，微小的改变可能导致模型的性能有显著的差距。这使得微调成为一项耗时耗力却又关键至极的过程。如何用更少的时间和更低的复杂度细调模型，并在多个配置和架构中流畅无阻，是 AI 开发者一直在探索和实践的问题。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">项目介绍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Axolotl 能帮你轻松地微调各种 AI 模型，无论是各种Huggingface模型，如llama，pythia，falcon，mpt，还是其他一些主流架构如lora、qlora、relora、gptq，Axolotl 都能提供全面的支持。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">你可以通过简易的yaml文件或者命令行覆写来定制配置，支持加载不同的数据集格式，甚至可以携带自定义的分词数据集。Axolotl 还与xformer，flash attention，rope scaling，multipacking等强大功能集成，无论是使用单个GPU还是通过FSDP或Deepspeed使用多个GPU，Axolotl 都能处理。其过程可以轻松地在本地或云端通过Docker运行，并且你还可以将结果以及可选的检查点记录到wandb。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-weight: bold;margin: 2em 8px 0.5em;color: rgb(15, 76, 129);">如何使用

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;padding: 1em;margin: 10px 8px;">#preprocessdatasets-optionalbutrecommended
CUDA_VISIBLE_DEVICES=""python-maxolotl.cli.preprocessexamples/openllama-3b/lora.yml

#finetunelora
acceleratelaunch-maxolotl.cli.trainexamples/openllama-3b/lora.yml

#inference
acceleratelaunch-maxolotl.cli.inferenceexamples/openllama-3b/lora.yml\
--lora_model_dir="./lora-out"

#gradio
acceleratelaunch-maxolotl.cli.inferenceexamples/openllama-3b/lora.yml\
--lora_model_dir="./lora-out"--gradio

项目推介

项目的开发团队来自 OpenAccess AI Collective，这是一个主张 AI 开放的团体。Axolotl 有一队长期维护并保障其运行稳定和功能更新的工程师团队，你无需担心项目的维护和更新问题，并可以享受到这个开源项目带来的所有优点。

以下是该项目 Star 趋势图（代表项目的活跃程度）：

欢迎光临链载Ai (https://www.lianzai.com/)