19 加速手段

19.1 投机解码

投机解码用一个小模型先猜几个字，大模型一次性验证，猜对就白赚。动机回到 15.2：decode 阶段每吐一个字都要把整份权重搬一遍，计算单元大量空闲。既然搬一次权重的成本已经付了，不如一次多验几个 token。做法是让一个小得多的草稿模型先连续猜出 k 个 token，然后大模型做一次前向，同时验证这 k 个猜测，猜中的部分直接采纳，从第一个猜错的位置起丢弃重来。收益取决于接受率，接受率又取决于草稿模型与目标模型的匹配度和流量特征，所以这项手段的收益必须在自有流量上实测，接受率要可观测。

19.2 量化取舍

量化把模型参数从高精度压到低精度，省显存也省带宽，代价是精度损失。

量化的收益是双份的：显存占用减半意味着能装下更大的模型或更多并发，同时 decode 阶段要搬的数据也减半，直接提升出字速度，所以低精度对推理经济学的杠杆非常大。风险在质量：训练后量化是把训练好的模型压缩，质量损失不可预测；训练期量化感知在训练阶段就适配低精度，质量保持得多。Kimi K3 采用从监督微调阶段开始的量化感知训练，原生 MXFP4，核这类模型在低精度下的质量更可控。

验收框架接着第 10.3 节说完整：一次合格的量化验收要同时回答五件事：目标任务上的质量下降多少；权重与总显存各省多少；首字延迟和出字间隔各改变多少；什么并发下吞吐改变多少；长上下文或小语种是否出现退化。只报几 bit、只报单一吞吐倍数，都不是可验收的量化结论。

19.3 算子内核

内核优化是这个行业里最难被复制、也最难被验证的一层能力。内核是直接在 GPU 上执行的底层计算函数，同样的数学运算，写得好和写得差在同一张卡上可能相差数倍。主要手法有三类：算子融合（把多个小运算合并成一个，减少显存往返）、针对特定形状的专用实现（批大小、序列长度、头数的特定组合）、利用新硬件特性（新一代张量核心的低精度指令）。

这层能力的商业特点是：收益直接可量化，但真实性极难验证。任何人都可以宣称把某个模型跑快了三倍，验证需要在相同硬件、相同模型、相同流量画像下复现。论文和厂商的加速倍数都绑定各自的基线与配置，不能跨论文相乘，更不能把实验快 N 倍直接翻译成生产成本降 N 倍。第 20.3 节和第 40 章给出具体的验证方法。