术语表不是把英文换成中文。一个词只有同时说明它为什么出现、保存什么状态、改变哪个接口，才算掌握。以下解释以本册语境为准，同一缩写在其他系统里可能有不同含义。
| 中文 | 英文 | 一句话解释 |
|---|
| 预填充 | prefill | 读入并处理全部输入的阶段，算力密集 |
| 解码 | decode | 逐 token 生成输出的阶段，带宽密集 |
| 首字延迟 | TTFT | 从请求发出到收到第一个 token 的时间 |
| 出字间隔 | TPOT / ITL | 相邻输出 token 之间的平均间隔 |
| 键值缓存 | KV cache | 保存历史 token 中间状态以避免重算的机制 |
| 分页注意力 | PagedAttention | 把 KV 缓存按固定块分配以消除碎片的方法 |
| 前缀缓存 | prefix cache | 复用请求间相同前缀的 KV，跳过重复预填充 |
| 连续批处理 | continuous batching | 以 token 为粒度动态进出批次的调度方式 |
| 张量并行 | tensor parallel | 把单层内部的矩阵切分到多卡 |
| 流水并行 | pipeline parallel | 把不同层分配到不同卡 |
| 专家并行 | expert parallel | 把 MoE 的专家分配到不同卡 |
| 混合专家 | MoE | 每次只激活部分参数的模型结构 |
| 分离部署 | PD disaggregation | 把预填充与解码放到独立资源池 |
| 投机解码 | speculative decoding | 小模型先猜、大模型批量验证的加速方法 |
| 成组调度 | gang scheduling | 一组资源全部就位才启动的调度策略 |
| 有效吞吐 | goodput | 只计算在服务目标内完成的请求的吞吐口径 |
| 冷启动 | cold start | 模型副本从存储装载到可接流量的全过程 |
| 返修授权 | RMA | 硬件供应商对故障设备退换或维修的授权流程，不等于现场已有备件 |
| 恢复时间目标 | RTO | 故障后恢复服务的目标时长 |
| 恢复点目标 | RPO | 能接受的状态或数据损失量 |
| 平均修复时间 | MTTR | 故障后恢复服务的平均时间，会隐藏严重故障，需看分布 |
| 最低采购承诺 | take-or-pay | 用量不足也须支付约定最低额的合同安排 |
| 总拥有成本 | TCO | 取得、融资、运营、故障、闲置与退出成本的总和 |
| 管理费 | management fee | 基金按管理规模每年收取的费用 |
| 超额收益分成 | carried interest | 超额收益中分配给管理方的部分 |
| 门槛收益 | hurdle rate | 分配 carry 之前 LP 应先获得的最低回报 |
| 回拨 | clawback | 已分配的 carry 在后续亏损时退回的机制 |
| 特殊目的载体 | SPV | 为特定资产或交易设立的主体，不自动实现风险隔离 |
| 受益所有权 | beneficial ownership | 穿透名义持有后的实际受益归属 |
| 出口管制分类编码 | ECCN | 给受美国出口管辖物项分类的编码，分类不替代许可判断 |