LLM学习备忘录【微调】

摘要

本文是一个关于大型语言模型（LLM）微调的备忘录，详细介绍了微调的背景、方法和工具。文章首先提到了微调的背景，即大模型参数量大，计算资源需求高，微调成本 elevated。接着，文章分别介绍了不同的微调方法，包括：

• Adapters系列：通过引入额外的可训练参数来进行任务适配，其中LoRA系列是最广泛应用的方法，它通过低秩矩阵来模拟权重的变化。
• LoRA系列：详细介绍了LoRA的动机、训练流程、常见问题和推理过程，以及LoRA的变种如LoRA-FA、AdaLoRA、DoRA和rsLoRA。
• Soft Prompts系列：介绍了Prompt Tuning、Prefix Tuning、P-tuning、MultiTask prompt tuning (MPT)等方法，这些方法通过在输入前添加可学习的tensors来进行微调。
• IA3：一种适用于任何神经网络权重矩阵的Adapter方法，它可以减少微调参数数量，不影响推理速度。

文章还提到了微调相关的工具，如peft、LLaMA-Factory、torchtune和xtuner，并对它们的特色和支持功能进行了比较。最后，文章列出了参考资料，包括大模型微调的经验和认知、LoRA、P-tuning、Adapter的总结等。

观点

• 微调的重要性：由于大型语言模型的参数量庞大，全参数微调不仅耗时耗力，还需要大量的计算资源。因此，开发出如Adapters、LoRA、Soft Prompts等高效的微调方法对于实际应用至关重要。
• LoRA的优势：LoRA通过引入低秩矩阵来模拟权重变化，大幅度减少了需要训练的参数数量，同时保持了模型性能。
• 多任务微调的趋势：MultiTask prompt tuning (MPT)等方法能够让模型在多个任务之间共享知识，提高了模型的泛化能力。
• 工具的选择：不同的微调工具提供了不同的特色和支持，用户在选择时应根据自己的需求和模型的特点来决定使用哪个工具。
• 微调技术的持续发展：随着研究的深入，微调技术不断进步，能够更好地适应各种应用场景和模型结构。