Fine-tuning技术整理
本文于 460 天之前发表,文中内容可能已经过时。
原因
当大模型能力不够的,需要通过Fine-tuning微调。
缺点
成本很高,需要机器
实现方式
P-Tuning
Lora微调
在原始预训练模型旁边增加一个旁路
数据获取的方式
- 实际场景获取
- 老师模型获取
工具箱
PEFT支持上面的几种微调方式。
本文于 460 天之前发表,文中内容可能已经过时。
当大模型能力不够的,需要通过Fine-tuning微调。
成本很高,需要机器
在原始预训练模型旁边增加一个旁路
PEFT支持上面的几种微调方式。