显存带宽为何成推理瓶颈：从数据看芯片架构取舍

结论前置：先算带宽账，再谈算力峰值

在推理场景里，芯片标称的算力峰值很少是决定吞吐的第一因素，显存带宽往往先成为天花板。原因很直接：自回归解码每生成一个 token，都要把模型权重和 KV 缓存从显存搬到计算单元，搬运量远大于单次计算的运算量。人人体育技术解读栏目在梳理公开规格书时发现，很多方案在算力上留有余量，却在带宽上被卡住，最终表现为首 token 延迟尚可、持续生成速度上不去。

把这件事讲清楚，只需要三个量：模型参数量、量化位宽、显存带宽。三者共同决定理论上的 token 生成速率上限，任何一项短板都会直接压低实测吞吐。

• 权重搬运量 ≈ 参数量 × 每参数字节数，量化位宽越低，单次搬运越少。
• KV 缓存随上下文长度线性增长，长上下文场景下它可能反超权重搬运量。
• 带宽利用率受访存模式影响，连续访问与碎片访问的实际效率差距明显。

人人体育在整理术语百科时也强调，讨论带宽要区分峰值带宽与有效带宽，前者是规格书数字，后者才是工程里能拿到的部分。

数据视角：量化精度如何改变带宽账本

量化是缓解带宽压力最直接的手段，但它不是免费的。把权重从 16 位降到 8 位，权重搬运量约减半，理论吞吐上限相应抬升；继续降到 4 位，收益边际变小，而精度损失和反量化开销开始显现。人人体育在对比公开方案时注意到，同一颗芯片在不同量化档位下的实测吞吐曲线，往往不是线性的，中间存在明显的拐点。

判断拐点位置，可以看两个公开指标：一是芯片是否提供原生低精度矩阵指令，二是反量化是否在片上完成。若低精度计算需要频繁转回高精度再运算，带宽省下来的收益会被额外搬运抵消。这也是为什么同样标称支持 4 位权重，不同架构的实际表现差异很大。

• 原生低精度指令：减少转换步骤，带宽收益更容易兑现。
• 分组量化粒度：粒度越细精度越好，但元数据开销上升。
• KV 缓存量化：长上下文场景收益最明显，需关注精度回退幅度。

人人体育建议读者在看方案参数时，把量化支持列表和带宽数字放在一起读，单看任何一项都容易误判。

互联拓扑：多卡之后瓶颈会转移

单卡带宽不够时，常见做法是多卡并行，但瓶颈会随之转移。张量并行需要频繁做全归约通信，通信量与该层激活值规模相关；一旦卡间互联带宽低于计算需求，增加卡数带来的收益迅速衰减。人人体育在梳理互联拓扑资料时发现，机内互联与机间互联的带宽差一个数量级，跨机并行的效率损失通常在所难免。

因此选型时应先明确部署形态：单机多卡优先看机内互联的实际带宽与延迟，多机集群则要评估通信库的成熟度和拓扑感知调度能力。人人体育客户端在安卓与苹果 iOS 上提供的术语百科条目，对全归约、点对点通信等概念有逐条解释，配合 Windows 电脑版与 Mac 电脑版阅读长文更顺手。

• 机内互联：关注单链路带宽与全互联规模，规模越大通信跳数越多。
• 机间互联：关注收敛比，收敛比过低时大规模并行收益有限。
• 拓扑感知：调度能否把通信密集的层放在邻近设备上。

把带宽、量化、互联三笔账按顺序算完，再回头看算力峰值，选型判断会稳健得多。人人体育会持续以结论前置的方式，把这类架构取舍讲成可复用的方法。