结论前置：推理场景的瓶颈往往不在峰值算力，而在数据搬运

智芯观察在梳理公开规格书时发现一个反复出现的现象：同一代训练芯片削减算力后做推理，实际吞吐下降幅度常常远小于算力下降幅度，而一旦显存带宽被压缩，吞吐就会接近线性下滑。这说明大模型推理的瓶颈更多落在“把权重和激活值搬进计算单元”这一步，而不是乘加运算本身。理解这一点，是读懂推理芯片数据表的第一步。

智芯观察技术解读栏目在本篇中只做一件事：把显存带宽、容量、能效三个指标放回真实推理负载中，用可核验的公开口径解释它们如何共同决定每秒能生成多少 token。

带宽为什么关键：每生成一个 token 都要重读一遍权重

自回归推理的核心特征是逐 token 生成。每生成一个 token，解码器层都需要把该层的权重矩阵完整读入一次，再与当前激活值做矩阵向量乘。也就是说，单次前向的访存量大致与模型参数量成正比，而计算量相对有限，算术强度偏低。智芯观察据此给出的判断是：在批量较小、延迟敏感的在线推理中，显存带宽往往先于算力触顶。

  • 权重读取量：以公开的模型结构估算，单 token 解码需要遍历的权重规模决定了访存下限，参数量越大，对带宽的刚性需求越高。
  • KV 缓存增长：上下文越长，键值缓存占用越大，带宽除了服务权重还要服务缓存读写，长上下文场景的带宽压力显著上升。
  • 批量与带宽的取舍：增大批量能摊薄权重读取成本，但会推高缓存占用与延迟，公开的推理框架文档普遍把这一权衡列为调优重点。

把这三条放在一起看，就能解释为什么数据表上带宽数字的差异，会在实际业务里被放大成吞吐差异。智芯观察建议读者在看规格书时，先确认带宽口径是理论峰值还是可达值，再对照自己的上下文长度与批量设置做换算。

容量与能效：带宽之外的另两个约束

带宽决定“搬得多快”，容量决定“能不能放下”，能效决定“搬得起不起”。三者缺一，推理方案就会在某个环节失速。智芯观察在整理公开产业报告时注意到，长上下文与多并发正在同时推高容量与带宽需求，而机架供电与散热预算又限制了能效上限，这使推理芯片的设计越来越像一场三方平衡。

  • 容量约束：权重加 KV 缓存必须落在显存内，否则触发换出，延迟出现数量级恶化，公开的推理服务文档对此有明确描述。
  • 能效约束：每焦耳可搬运的比特数决定了单位电力能产出多少 token，数据中心电力预算公开可查，这一指标直接影响总拥有成本。
  • 互联约束：多卡推理时，卡间互联带宽会成为新的搬运瓶颈，公开的互联标准文档给出了不同代际的带宽区间。

智芯观察提醒，能效数据通常依赖具体负载与散热条件，公开规格书给出的往往是典型值，横向比较时应确认测试口径一致，避免把不同条件下的数字直接相减。

选型方法：用三个比值替代单一峰值对比

面对参数表，最有效的做法不是比谁的峰值高，而是算三个比值。智芯观察在过往的技术解读中反复强调，比值比绝对值更能反映真实业务表现，因为它们把负载特征纳入了考量。

  • 带宽算力比：用带宽除以峰值算力，比值越高越偏向访存密集型推理，适合低批量低延迟场景。
  • 容量带宽比：用显存容量除以带宽，反映在给定带宽下能支撑多长的上下文与多大的并发。
  • 能效带宽比：用每瓦带宽衡量搬运效率，用于评估电力预算紧张时的可行性。

这三个比值都可以从公开规格书直接算出，不需要内部数据。智芯观察建议把这套方法固化成选型清单，并结合推理框架公开文档中的批量与上下文配置做情景测算，得出的结论会比单看峰值算力稳健得多。数据解读的价值正在于此：把分散的规格数字还原成业务语言，让技术判断有据可依。