logo头像
Snippet 博客主题

Fine-tuning技术整理

本文于 460 天之前发表,文中内容可能已经过时。

原因

当大模型能力不够的,需要通过Fine-tuning微调。

缺点

成本很高,需要机器

实现方式

P-Tuning

参考资料
P-Tuning方式

Lora微调

在原始预训练模型旁边增加一个旁路

数据获取的方式

  1. 实际场景获取
  2. 老师模型获取

工具箱

PEFT支持上面的几种微调方式。

unsloth

参考资料

ChatGLM2-6B