10 显存装载

10.1 五类资源

模型部署的第一道约束，是模型权重、请求状态和运行时缓冲能否同时留在显存里。卡名只是资源包的标签，系统能不能跑、能跑多少并发，要看容量、带宽、精度、互联和软件实现怎样配合。

一张 GPU 至少提供五类资源：执行矩阵与向量运算的计算单元，保存模型和状态的高带宽显存，连接计算与显存的数据路径，连接多张卡的互联，以及决定这些资源如何被调用的软件栈。峰值算力（FLOPS）只衡量理论算术能力，看不出模型能否装下，也看不出计算单元是否在等数据。这里要先分清两个词：显存容量回答同时能放多少东西，显存带宽回答单位时间能搬多少数据。规格页上 H100 的 80 GB 与 3.35 TB/s、MI300X 的 192 GB 与 5.3 TB/s 来自不同厂商和口径，只适合做容量初筛，不能直接推出同一模型的吞吐排名。核

10.2 显存账本

显存分三大块：模型权重、KV 缓存、临时激活值，第二块决定能服务多少并发。权重是固定开销，理论下界可以用一个式子估：权重内存（字节）约等于 参数量 乘 每参数位数 除以 8。以 70B 参数为例，16 位权重的下界约 140 GB。但这个数字不含量化尺度、运行时工作区、通信缓冲、批次状态、KV 缓存和安全余量，绝不能直接当成部署总显存。核

完整账本至少有五栏，每栏的变化规律不同：

这张表里藏着一个反馈：把静态权重压得更小，系统会接纳更多并发；更多并发又生成更多 KV 状态，把释放出的显存重新吃掉。量化改变的是约束结构，不是自动消除容量问题。容量估算还要与并行放置一起做：140 GB 的权重下界被两张卡分摊，不等于每卡只要 70 GB，张量并行需要额外通信工作区，流水线阶段的层数可能不均，只有引擎实际导出的每进程峰值才是最终依据。

10.3 精度作用

精度解决的是用多少位表示权重和中间数值。较低位宽首先减少权重的存储和读取流量，但质量与速度不会按位数同比变化。位宽降为四分之一，只把理论权重体积降为四分之一。端到端速度还取决于四件事：目标卡有没有高效内核、量化与反量化的开销、KV 与激活用什么精度、请求处在 prefill 还是 decode。所以 INT4 比 FP16 快四倍这种说法进不了生产判断。SmoothQuant、GPTQ、AWQ 各自用不同思路控制低位误差，收益都绑定具体配置。核量化的完整验收要同时回答质量降了多少、权重与总显存各省多少、首字与出字各变多少、什么并发下吞吐改变、长上下文或少数语言是否退化，第 19 章会给出验收框架，本章只记住一句：只报几 bit 没有业务含义。

10.4 装载链条

装载解决的是权重如何从持久存储变成可执行的 GPU 状态。一条常见路径：对象存储或共享文件系统，到本地缓存，到主机内存，最后进入一张或多张卡。每一步都有带宽、并发、校验和失败语义。Safetensors 提供安全、可切片、可内存映射的权重格式，但所谓零拷贝只表示减少特定复制，不表示没有磁盘读取和网络传输。核

冷启动是模型副本从不可服务到可接流量的全过程，不只是把文件读完。权重读完后还要初始化通信、建立内存池、编译或选择内核、捕获执行图并预热。冷启动应按路径分段计时：发现容量不足、申请节点、拉取镜像、取得权重、校验、重分片、传到 GPU、初始化引擎、预热、通过就绪检查、接入小流量。只有总时间没有分段，就不知道该买更快磁盘、加本地缓存，还是修调度与发布流程。

10.5 三道门槛

显存规划分三道门。第一道装载门：单个模型副本在目标精度和并行方式下能否完成初始化。第二道稳态门：在目标输入、输出和并发下，KV 与运行时峰值是否仍有安全余量。第三道异常门：滚动发布、流量突发或一张卡退出时，剩余容量能否接住迁移请求。

这三道门经常被混成一个能不能跑。实验室里单请求启动成功，只过了第一道门；把上下文和并发压到最大没有爆显存，也不代表第三道门成立，因为系统可能已经没有任何迁移和碎片余量。生产验收应记录稳态、峰值和故障后的最大显存，空闲时的监控截图不算数。装不下时有多条路径：加张量并行、改流水线并行、换更大显存的卡、缩上下文、降并发、KV 用更低精度、把部分状态卸载。每条路径解决不同的账本栏目，也把成本转移到不同位置。先问哪一栏超标，再选对应手段：权重超标与 KV 超标不是同一个问题，用低位权重去解决长上下文的 KV，可能根本没碰到瓶颈。

10.6 交付证据

任何这个模型能部署的结论，都应附上：权重与分词器标识、精度与量化配方、每进程显存峰值、目标长度和并发、冷热启动分段时间、质量回归以及爆显存边界。规格页只放在证据包第一页说明理论资源，最后一页必须是目标环境的重复实测和未解决限制。报告没有异常门数据，结论只能写在当前稳态配置下运行，不能写可稳定扩容或容错。