链载Ai

标题: 如何进行大模型训练和微调？（实战） [打印本页]

作者: 链载Ai 时间: 昨天 23:44
标题: 如何进行大模型训练和微调？（实战）

1、在项目中，如果prompt和function calling足够好，尽量不要微调，节约成本。

以下是针对function calling的slot，评估准确率（识别准确度）、召回率（全面率），F1值。

从中可以看出，训练微调并不能比function calling增强太多。

2、大模型训练和微调工具

https://huggingface.co/

分类器示例：https://huggingface.co/datasets/cornell-movie-review-data/rotten_tomatoes

3、模型训练数据，以开源数据库为例，包含酒店，景点，餐馆等信息。

https://github.com/thu-coai/CrossWOZ/

酒店数据库

https://github.com/thu-coai/CrossWOZ/blob/master/data/crosswoz/database/hotel_db.json

可以通过训练实现下面的对话机器人。

4.数据增强，可以用chatgpt对以上数据库改写，得到增强数据库，更加口语化。

5、模型训练环境

AutoDL的4090云GPU，显存大于20GB

https://www.autodl.com/home

6、训练、微调代码示例

https://github.com/agiclass/fine-tuning-lab/tree/v4

https://github.com/agiclass/fine-tuning-lab/blob/main/web_demo/web_demo.py

7、连接租用的容器后即可进行训练、微调。

欢迎光临链载Ai (https://www.lianzai.com/)