大模型入门指南 - Quantization：小白也能看懂的“模型量化”全解析

大模型（如DeepSeek、Qwen等）参数规模动辄数百亿，全精度（FP32）存储和推理会占用大量显存且速度慢。而模型量化技术通过将浮点数压缩为低精度整数，不仅能让大模型“瘦身”至1/4甚至更小体积，还能显著提升推理效率。例如，175B参数的模型用FP32需700GB显存，而量化到INT4仅需约10GB。

A Visual Guide to Quantization - by Maarten Grootendorst

一、概念解读

Quantization（模型量化）到底是个啥？模型量化是一种参数压缩与加速技术，其核心逻辑是将模型中的高精度浮点数（如32位浮点数 FP32）转换为低精度整数（如8位整数 INT8 或4位整数 INT4），从而减少存储空间、提升推理速度并降低硬件能耗。
  • FP32（浮点数）：如同用科学计算器处理小数运算，精度高但计算慢、耗电多。
  • INT8（整数）：如同用算盘处理整数运算，速度快、能耗低，但需通过“单位换算”保证结果接近。
Understanding Model Quantization in Large Language Models | DigitalOcean
模型量化的本质是通过数学映射，在精度损失可控的前提下，将模型参数从“高精度”转换为“低精度”，实现性能与效率的平衡。
1. 确定量化范围
找到参数或激活值的最小值（min）和最大值（max）。
例如：权重参数范围：min=-1.2, max=0.8；激活值范围：min=0.1, max=5.6。
2. 计算缩放因子（Scale）与零点（Zero Point）
（1）缩放因子：scale = (max - min) / (2^n - 1)（n为量化位数，如 INT8 时 n=8，2^8-1=255）
（2）零点：zero_point = round(-min / scale)（确保浮点数 0 映射到整数 0，避免负数溢出）
例如：若 min=-1.2, max=0.8，INT8 量化：scale = (0.8 - (-1.2)) / 255≈0.00784，zero_point = round(-(-1.2) / 0.00784) ≈ 153
3. 量化与反量化公式
Zero-point quantization : How do we get those formulas? | by Luis Antonio Vasquez | Medium
（1）量化：q = round(x / scale) + zero_point（将浮点数 x 映射为整数 q）
（2）反量化：x' = (q - zero_point) * scale（将整数 q 还原为浮点数 x'）
A Visual Guide to Quantization - by Maarten Grootendorst
为什么需要Quantization（模型量化）？模型量化通过压缩内存占用和提升计算带宽效率，破解硬件资源受限与实时性需求矛盾。
  • 存储维度：INT8压缩4倍，INT4压缩8倍，实现“大象变蚂蚁”；
  • 带宽维度：内存访问量减少75%，推理速度提升2-4倍，打通“高速专线”。
    LLM Series - Quantization Overview | by Abonia Sojasingarayar | Medium

    二、技术实现

    Quantization（模型量化）如何进行技术实现？模型量化主要通过训练后量化（Post-Training Quantization，PTQ）和量化感知训练（Quantization Aware Training，QAT）两种方式实现。
    图片
    1. PTQ（训练后量化）技术实现
    PTQ在模型训练完成后，使用少量校准数据来估计权重和激活值的动态范围，进而确定量化参数（如缩放因子和零点），无需重新训练模型。实现简单，无需重新训练模型，能够显著减少计算开销和内存占用，适用于大多数场景。
    2. QAT（量化感知训练）技术实现
    QAT在模型训练过程中就考虑量化效果，通过插入伪量化节点来模拟量化操作，模型在训练时即考虑到了量化误差，并通过反向传播算法调整模型的权重，从而使模型在量化后的推理阶段能够保持较高的精度。由于在训练过程中考虑了量化误差，QAT通常能保证量化后的模型精度接近未量化模型，适用于对精度要求较高的应用场景。
    Neural Network Model quantization on Mobile - AI blog - Arm Community blogs - Arm Community
    PyTorch如何实现Quantization（模型量化）？PyTorch作为主流的深度学习框架，提供了完整的量化工具链，支持训练后量化（PTQ）、量化感知训练（QAT）和动态量化等多种方式。
    1. 动态量化（Dynamic PTQ）
    import torchfrom torch.quantization import quantize_dynamic# 加载预训练模型model = torch.load('model.pth')model.eval()# 动态量化（量化Linear和LSTM层）quantized_model = quantize_dynamic(    model,     {torch.nn.Linear, torch.nn.LSTM},  # 指定量化层类型    dtype=torch.qint8)
    2. 静态量化（Static PTQ）
    from torch.quantization import prepare, convert# 准备校准数据集def calibrate(model, data_loader):    model.eval()    with torch.no_grad():        for inputs in data_loader:            model(inputs)# 配置量化参数model.qconfig = torch.quantization.get_default_qconfig('fbgemm')model_prepared = prepare(model)          # 插入Observer节点calibrate(model_prepared, data_loader)  # 校准激活值范围quantized_model = convert(model_prepared)  # 转换为量化模型
    3. 量化感知训练（QAT）
    from torch.quantization import prepare_qat, FakeQuantize# 定义QAT模型model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')model_prepared = prepare_qat(model)     # 插入伪量化节点# 训练阶段（模拟量化误差）optimizer = torch.optim.SGD(model_prepared.parameters(), lr=0.01)for inputs, labels in train_loader:    outputs = model_prepared(inputs)    loss = criterion(outputs, labels)    loss.backward()    optimizer.step()# 转换至最终量化模型quantized_model = convert(model_prepared)