logo头像
Snippet 博客主题

Fine-tuning技术整理

原因

当大模型能力不够的,需要通过Fine-tuning微调。

缺点

成本很高,需要机器

实现方式

P-Tuning

参考资料
P-Tuning方式

Lora微调

在原始预训练模型旁边增加一个旁路

数据获取的方式

  1. 实际场景获取
  2. 老师模型获取

工具箱

PEFT支持上面的几种微调方式。

unsloth

参考资料

ChatGLM2-6B