深度学习大模型如何实现量化与推理部署？

在大语言模型基础知识一文中，已简要介绍了模型量化与高效推理部署，二者是实现大语言模型（Large Language Model，LLM）低成本、高效落地的关键路径。本文将系统阐述模型量化的基本原理，并详细介绍LLM高效推理的核心技术与常用框架。 目录1 LLM中的量化技术1.1 量化背景1.2 量化基本原理1.2.1 核心思想1.2.2 量化时机1.2.3 策略选型1.3 量化算法在LLM中的实现与工具链1.3.1 适用于LLM的量化方法1.3.2 主流LLM量化工具链1.3.3 Qwen3系列模型中的量化2 推理部署2.1 部署参数2.2 推理优化2.2.1 计算优化2.2.2 显存优化2.2.3 延迟与吞吐优化2.2.4 从Prefill与Decoder视角理解LLM推理2.3 推理框架3 参考 1 LLM中的量化技术 本部分将系统介绍如何通过模型量化（Quantization）技术压缩LLM。首先，从量化背景出发，说明当前模型压缩的现实需求；其次，概述深度学习中的通用量化原理；最后，结合LLM的特点，详解其专用的量化方法与工具链。 1.1 量化背景 深度学习模型的训练与推理主要包括前向计算、反向传播与参数更新三个阶段，本质上都属于大规模数值运算，其中以矩阵乘法和张量运算为主。这类运算具有高度并行性，对计算效率要求较高。相比而言，CPU虽然通用性强，但并行能力和内存带宽有限，难以高效处理大规模矩阵运算；而GPU采用大规模并行架构，尤其擅长执行矩阵乘法等高密度计算任务，因而成为当前深度学习的主流计算平台。 随着深度学习模型规模不断扩大，尤其是LLM参数量从7B、14B、34B增长至数百亿甚至更高，模型对显存容量和计算资源的需求急剧增加。由于LLM模型参数、激活值及中间结果均需占用显存，将完整模型加载至单张GPU上在实际中几乎不可行。即便是高端消费级GPU（如RTX 5090，约32GB显存）或数据中心级GPU（如H100，约80GB显存），在超大LLM模型面前仍存在明显瓶颈。虽然多GPU并行技术可以分担计算与存储压力，但会显著增加显存占用、通信开销和系统复杂度，甚至影响推理效率。因此，在有限算力和显存条件下，如何降低计算量和显存占用，同时尽量保持模型推理性能，已成为LLM训练与部署中的关键问题。 在这一背景下，数值表示格式的选择对LLM的计算效率和显存占用具有决定性影响。当前深度学习训练与推理中常用的浮点格式（如FP32、FP16、BF16）提供了大动态范围和高数值精度，但同时带来显著的存储与计算开销。相比之下，定点或低比特整数（如INT8、INT4）可大幅减少模型参数与中间激活的存储需求，从而缓解显存与算力瓶颈，但也会带来数值精度下降的问题。不同数值格式对比如下图所示，其中： 红色块（Sign）：就1位，管数字是正还是负， 蓝色块（Exponent）：管数字的大小范围，位数越多，能存的数的范围越大， 绿色块（Mantissa）：管数字的精度细节，比如是存1.2还是1.2345，位数越多，数字的精度就越高， 黄色块（Regime，只在Posit16里有）：类似Exponent的加强版，也是管数字的大小范围。 FP32凭借更多的指数位和尾数位兼顾了动态范围与精度，却带来了较高的存储和计算开销；FP16与BF16通过缩减位宽在效率与精度间实现折中，其中BF16会保留更多指数位，以此维持动态范围；INT8与INT4则几乎不单独表示指数部分，仅保留有限精度，适合对性能和存储开销敏感的推理场景；而Posit16通过Regime机制在有限比特下提供了一种更灵活的数值表示方案。