【LLM基础知识点整理】大模型的量化和蒸馏

大模型蒸馏

定义与概念：

大模型蒸馏 是一种模型的压缩技术，核心是将一个大的模型中知识提取，将其能力迁移到小模型中，从而提升小模型的性能
大模型蒸馏是一种将大型复杂模型（教师模型）的知识传递给小型简单模型（学生模型）的技术。这一过程借鉴了教育领域中的“知识传递”概念。

模型蒸馏的技术原理

1. 模型的蒸馏技术是基于知识的蒸馏，将大模型的知识通过软标签的形式传递给小模型
2. 软标签是指大模型输出的概率分布，包含了更多的信息和细节
3. 模型的蒸馏技术通过优化小模型与大模型之间的知识蒸馏损失函数，使得小模型能够更好地拟合大模型的知识，从而提高其能力

蒸馏过程的关键步骤包括

1. 训练大规模模型（Teacher Model）：使用大量数据训练一个准确率高的大型模型。
2. 生成软标签：训练大模型在某个任务上，并获得其参数和输出。利用教师模型对数据进行预测，得到软标签。
3. 训练学生模型：用教师模型的软标签训练学生模型，通常还会结合硬标签（原始数据的真实标签）一起训练以提高准确性。
4. 评估与调整：评估学生模型的性能，并根据需要调整超参数或架构。

优点

● 可以在资源受限的环境中部署小型模型，同时保持较大的模型性能。
● 通过知识迁移，可以利用大型模型的内部表示来提高小型模型的表现。

大模型量化

定义与概念：

大模型量化是指将深度学习模型中使用的浮点数表示转换为低精度整数表示的过程。这通常涉及选择合适的量化比特数和方法，以减少内存占用和推理时间，同时尽量不损失太多准确性。

主要步骤：

1. 离线阶段： 在训练后进行量化，涉及选择合适的量化比特数和方法。例如，可以选择INT8或更低精度的量化。
2. 在线阶段： 将量化后的模型部署到实际环境中进行推理或应用。可以通过动态量化策略，在训练过程中调整权重的表示范围，保证模型在量化后的性能。
   优点：
   ● 减少模型大小和内存需求，降低推理时间和能耗。
   ● 适用于需要高效运行的大规模AI应用。

量化的主要步骤包括：

1. 权重量化：将模型的权重从高精度表示转换为低精度表示。例如，可以选择INT8或更低精度的量化。
2. 激活量化：在前向传播过程中量化激活值。
3. 量化感知训练（Quantization-Aware Training, QAT）：在量化之前对模型进行微调，以减小因量化引入的精度损失。

区别

1. 目标不同：
   ○ 蒸馏： 主要目的是通过知识迁移，使小型模型能够模仿大型模型的行为，从而在资源受限的情况下保持较高的性能。
   ○ 量化： 主要目的是通过减少表示精度来降低模型的内存占用和推理时间，同时尽量保持模型的准确性。
2. 方法不同：
   ○ 蒸馏： 通过训练学生模型来模仿教师模型的行为，需要额外的训练步骤。
   ○ 量化： 通过改变模型参数的表示方式（如从32位浮点数到8位整数），不需要额外的训练步骤。
3. 应用场景不同：
   ○ 蒸馏： 更适用于需要在资源受限的环境中运行的场景，如移动设备和边缘计算设备。
   ○ 量化： 更适用于需要高效推理的应用场景，如在线服务和大规模分布式系统。
   总结来说，大模型蒸馏和大模型的量化各有优势和适用场景。蒸馏通过知识迁移提高小型模型性能，而量化则通过减少表示精度优化内存和计算资源消耗。两者可以结合使用，进一步提升模型的效率和性能.

参考

人工智能大模型技术基础系列之：大规模模型蒸馏
大规模模型蒸馏技术
模型量化与量化在LLM中的应用 ｜ 得物技术