公式速查卡

LLM 推理加速 从 0 到 1 教学手册

给一个聪明的全职工程师，没有 AI 救场的情况下，能在客户面前讲透每个"为什么"。

2026.05.12 内部备稿

公式速查卡

客户面前现场推导用 · 把这张卡背下来，所有数字都能现场算出来

① H800 硬件常数

HBM 带宽 = 3 TB/s FP8 算力 = 2000 TFLOPS FP16 算力 = 1000 TFLOPS NVLink (SXM) = 400 GB/s PCIe 5.0 = 64 GB/s 单卡显存 = 80 GB

② 算术强度阈值（最重要）

阈值 = 算力 ÷ 带宽 = 2000 × 10¹² ÷ 3 × 10¹² ≈ 333

每字节算 < 333 次 → memory-bound Decode 阶段每字节只算 1-2 次 → 必然 memory-bound Batch=333 是利用率到 100% 的甜点

③ 搬运时间公式

T搬运 = 模型字节数 ÷ HBM 带宽

模型/精度	权重	耗时
70B FP16	140 GB	46.7 ms
70B FP8	70 GB	23.3 ms
70B INT4	35 GB	11.7 ms
235B FP8	235 GB	78 ms

④ 计算时间公式

FLOPs per token ≈ 2 × 参数量 T计算 = FLOPs ÷ 算力

70B FP8，Decode 1 token： = 1.4×10¹¹ ÷ 2×10¹⁵ = 0.07 ms → 占总耗时的 0.3%，搬运占 99.7%

⑤ GPU 利用率公式

利用率 = T计算 ÷ T实际 = T计算 ÷ max(T计算, T搬运)

Decode (batch=1)：0.07 / 23.3 = 0.3% Prefill (1000 tokens)：23.3 / 70 = 33%（实际 60-80%）

⑥ Batching 利用率（70B FP8）

Batch	利用率	瓶颈
1	0.3%	搬运
32	9.5%	搬运
128	38%	搬运
333	100%	甜点
512+	—	compute

⑦ KV Cache 占用（70B）

FP16: 320 KB / token FP8: 160 KB / token

上下文	FP16	FP8
2K	0.6 GB	0.3 GB
32K	10 GB	5 GB
128K	40 GB	20 GB

⑧ 吞吐 / 延迟 / 首字

TPOT = T搬运 = 23 ms (70B FP8) 吞吐 = batch ÷ TPOT TTFT = prompt × 2 × 参数 ÷ 算力 Ttotal = TTFT + TPOT × 输出长度

例：1000 token 输入 + 500 输出 = 70ms + 23×500 = 11.7 s

⑨ 跨机通信：10 GB KV Cache 传输耗时

网络	带宽	耗时	网络	带宽	耗时
10 GbE	1.25 GB/s	8000 ms	IB HDR 200Gb	25 GB/s	400 ms
100 GbE	12.5 GB/s	800 ms	IB NDR 400Gb	50 GB/s	200 ms
NVLink (同机)	400 GB/s	25 ms

→ 不上 IB，分离式部署收益被网络吃光

⑩ 一张图记住所有逻辑

搬运时间 = 模型大小 ÷ 带宽 ← 物理下限 计算时间 = 2 × 参数量 × tokens ÷ 算力 ← 算力消耗 利用率 = 计算时间 ÷ max(计算, 搬运) ← 浪费率 甜点 batch = 算力 ÷ 带宽 ≈ 333 ← 平衡点

所有加速技术都在动这 4 个变量之一：量化缩小搬运分子 · Batching 填满搬运的算力 · 投机解码让一次搬运算多 token · PagedAttention/Prefix Caching 装下更大 batch · 分离式部署让 Prefill/Decode 各跑甜点

知识点全景图

整本手册的"骨架"。每一层回答上一层留下的问题，下一层接住这一层留下的问题。读完这一页，再翻细节。

① 物理直觉 为什么慢 → ② 量化公式 数字怎么来 → ③ 加速技术 怎么变快 → ④ 多卡协同 单卡不够 → ⑤ 工程落地 用什么 → ⑥ 沟通弹药 怎么讲

所有内容围绕的根问题：LLM 推理 95% 时间花在 Decode，而 Decode 阶段 GPU 算力 95% 闲置。全书每一层都是在攻击这个事实的一个侧面。

LAYER 1 物理直觉 · 为什么会慢

问：GPU 算力这么强，为什么 LLM 推理慢？　 答：算力强不等于搬运快，且 Decode 是串行的。

• 算力 vs 带宽失衡：算力 ≈ HBM 带宽 × 300 倍，搬运是真正的瓶颈
• 自回归生成：一次只预测 1 个 token，整个模型权重每生成 1 token 都要搬一次
• Prefill / Decode 两阶段异构：Prefill compute-bound（利用率 60-80%），Decode memory-bound（利用率 1-5%）
• KV Cache：让自回归从 O(N²) 降到 O(N)，但占大量显存，是后续显存优化的核心战场

留给下一层："95% 闲置" "23 毫秒" "33% 利用率" 这些数字到底怎么算的？

LAYER 2 量化公式 · 数字怎么来的

问：怎么证明 Decode 一定是 memory-bound？怎么算最佳 batch？　 答：4 个公式 + 1 个阈值。

• 搬运时间：模型字节数 ÷ 带宽（70B FP8 ÷ 3 TB/s = 23 ms，物理下限）
• 计算时间：2 × 参数量 × tokens ÷ 算力（Decode 单 token 只要 0.07 ms）
• GPU 利用率：计算时间 ÷ max(计算, 搬运)
• 算术强度阈值 333：Batch < 333 → memory-bound，Batch = 333 是利用率打满的甜点

留给下一层：既然瓶颈是搬运和利用率，怎么动这两个变量去加速？

LAYER 3 加速技术 · 怎么攻击根问题

问：具体有哪些技术？各自攻击哪个变量？　 答：三个家族，对应三种攻击。

• 家族一 · 减少搬运分子：FP8 / INT4 权重量化、KV Cache 量化（H800 上 FP8 是免费午餐，速度 ~2x）
• 家族二 · 用闲置算力：Continuous Batching（3-10x）、Speculative Decoding（~3x）、编译优化（15-30%）
• 家族三 · 管好 KV Cache：PagedAttention（浪费 60-80% → <5%）、Prefix Caching / RadixAttention（MaaS 王者）、FlashAttention、KV Offloading

留给下一层：单卡叠满所有技术后，模型装不下 / 并发不够怎么办？

LAYER 4 多卡协同 · 单卡装不下时

问：多卡之间怎么协作？通信瓶颈怎么破？　 答：四种并行 + 分离式部署 + IB。

• 通信带宽层级：HBM 3TB/s > NVLink 400GB/s > IB 50GB/s > PCIe 64GB/s（决定切法）
• 四种并行（按优先级 DP > EP > TP > PP）：能用 DP 不用 TP；TP 只能同机；EP 给 MoE 用；PP 跨机
• 分离式部署：Prefill / Decode 分到不同节点池，单 token 成本省 30-50%（256 卡级别的关键架构决策）
• InfiniBand：RDMA / GPUDirect 让 KV Cache 跨机传输不卡顿，不上 IB 分离式部署就废了

留给下一层：这些技术 + 架构怎么落地成可运行的软件？

LAYER 5 工程落地 · 用哪个引擎

问：所有技术打包成软件后，选哪个？　 答：三引擎对比 + 分阶段上。

• vLLM：行业标准，最易上手，模型支持最广 → baseline 首选
• SGLang：RadixAttention，多轮对话 / MaaS 王者，比 vLLM 快 30%
• TensorRT-LLM：编译优化天花板，但编译要 20-30 分钟、模型变了要重编
• 头部厂商真实路线：Anthropic 走软件（激进投机解码）/ OpenAI 走新硬件 + 蒸馏（Cerebras）
• 三阶段方案：vLLM baseline → SGLang 主引擎 → TensorRT-LLM 针对性优化

留给下一层：这些东西怎么跟客户讲清楚、讲得有说服力？

LAYER 6 沟通弹药 · 客户面前怎么讲

问：怎么让客户既听懂、又信服？　 答：必背数字 + 心智模型 + 四句话答题法。

• 必背数字：3 TB/s · 2000 TFLOPS · 333 · 70 GB · 23 ms · 2×参数量
• 一句话心智模型：95% 时间在 Decode，95% 算力闲着，所有技术都在攻击这个事实
• 四句话答题法：结论 1 句 + 推导 2-3 句 + 代价/边界 1 句（不要只给结论）
• 现场推导模板：客户问"能跑多快"→ 套搬运公式 → 套 batch 公式 → 给出收益和代价

使用方式：开会前 5 分钟翻这一页对全局做最后校准 · 被客户问到具体技术时翻对应 Layer · 公式记不住时翻"公式速查卡" · 讲不下去时回到 Layer 6 的"四句话答题法"。