为什么推理速度会成为 Agent 的下一个竞争点

我们跟模型对话时，第一个字出来前的等待靠的是预填充（prefill），之后一个字一个字往外吐靠的是解码（decode）。

就以解码速度来说，Artificial Analysis 统计了近两年主流编码模型的输出速度，从 Claude 3.5 Sonnet 到 Claude Sonnet 4.6，基本都落在 200 tok/s 以下。⁠[22] 2026 年出现了两个离群点：2 月的 Codex-Spark，和 OpenAI 预告要上晶圆的 GPT-5.6 Sol，背后都是 Cerebras。⁠[4]

我觉得推理速度其实已经成了 AI 编程的第二条竞争线。模型的智能指数越来越高，但对坐在 IDE 里跟模型交互改代码的人来说，等待的代价也越来越明显。

慢在 decode，瓶颈是访存带宽

模型生成回答分两段。prefill 把整个 prompt 一次读进去，吃张量算力，是 compute-bound。decode 一个 token 一个 token 往外吐，每出一个 token 都要把模型权重从显存里再读一遍，吃的是显存带宽（数据中心里一般是 HBM 带宽），属于 memory-bound。

当然，写代码时体感上的慢也不全在 decode。等一次 JVM 编译、跑一遍 Rust 或 Cgo 的 test、搜索代码，还有主线程 sleep，这些工具调用的时间同样要等。不过这类等待不在本文的讨论范围里：它们要么靠开并行会话错开，要么得靠升级本地硬件解决，跟模型本身的推理解码其实关系不大。这里其实还能引出一个更深的话题，就是模型的「步长」，也就是怎么在对应的时间里把事情做对，那涉及到模型更深层的涌现能力了。

回到模型自己的输出速度上。单卡显存带宽就那么多，不加额外手段，大模型单用户 decode 一般只有几十 tok/s。所以提速的办法只有几种：把权重挪到比 HBM 快得多的存储里；每读一次权重多出几个 token；或者把模型切到很多卡上，用互联带宽凑够总带宽。再激进一点，干脆把权重做成电路。目前的厂商大致分成四条路线：

路线	代表	做法	代价
片上 SRAM	Cerebras、Groq	权重放在片上 SRAM，不走 HBM	硬件贵，产能少
GPU + 投机解码	智谱、小米、Fireworks	标准 GPU 节点，靠投机解码和量化	速度随内容波动
加钱买并行	Anthropic Opus Fast	大规模张量并行，独立通道	单价高
刻进芯片	Taalas	权重固化成芯片电路	一颗芯片只能跑一个模型

路线一：把权重搬进片上 SRAM

Cerebras 的 WSE 系列把一整块 12 寸晶圆做成一颗芯片，WSE-3 片上有 44 GB SRAM。⁠[5]权重放在 SRAM 里，decode 读权重就不用走 HBM。

现在看来是这个趋势：

• 2025 年 10 月：Cognition 发布 SWE-1.5，跑在 WSE-3 上，950 tok/s。⁠[1]
• 2026 年 2 月：OpenAI 发布 GPT-5.3-Codex-Spark，独占 WSE-3，标称 1000+ tok/s，比 GPT-5.3-Codex 快 15 倍。⁠[2]
• 2026 年 6 月：OpenAI 预告旗舰 GPT-5.6 Sol，同时宣布 7 月把 Sol 放上 Cerebras，标称最高 750 tok/s，先给少数客户。⁠[3]

前两个是为速度特化过的模型，Sol 是旗舰本体。旗舰也打算上晶圆，说明「要快只能用小模型」这个前提开始松动了。

模型放不下一块晶圆就铺多块。Cerebras 5 月跑通了 1T 参数的 Kimi K2.6：权重按 4-bit 存、16-bit 算，分布在约 20 台 CS-3 上，层间通信走片上网络，Artificial Analysis 实测 981 tok/s，是最快 GPU 云的 6.7 倍。⁠[6]⁠[11] Sol 据社区分析也会是类似做法，铺在 70 到 100 块晶圆上。⁠11.Sol 跨晶圆部署的说法来自社区推测，OpenAI 没有官方确认。每层放一整块晶圆，activation 在晶圆间流转，层数多只会抬高 TTFT，不影响单 token 生成速度。

OpenAI 在这条线上下了重注。2025 年 12 月给 Cerebras 10 亿美元贷款，2026 年 1 月又签了 200 亿美元、750MW 的算力采购。⁠22.Sam Altman、Greg Brockman、Ilya Sutskever、Adam D’Angelo 个人是 Cerebras 早期天使投资人，见 Cerebras S-1 招股书。Cerebras 于 2026 年 5 月完成 IPO，募资 55 亿美元。

Groq 的 LPU 是同一个思路的另一种做法。单芯片只有 230 到 500 MB SRAM，带宽 80 TB/s，靠几百块芯片组成机柜装下整个模型。Llama 3.3 70B 配合投机解码实测 1665 tok/s。⁠[7]

常见的疑问是这类硬件会不会为了速度牺牲精度。有第三方用 OpenBench 对比了 Kimi K2 在 Together 和 Groq 上的 MMLU，各分项差距都在 1 个点以内。

路线二：标准 GPU 上靠投机解码

智谱和小米走软件路线，都明确用标准 8 卡节点。GLM-5.1 高速版标称 400 tok/s。⁠[8]MiMo-V2.5-Pro UltraSpeed 是 1T 参数 MoE，标称 1000+ tok/s。⁠[9]

两家的底座都是 TileRT，一个持久内核运行时，把 GPU 的 SM 常驻成引擎做 tile 级调度。提速主要靠投机解码：GLM 训练了 MTP 头，一步预测多个 token；MiMo 用 DFlash 做块级并行预测，单轮能接受 6 到 7 个 token。MiMo 另外对 MoE 专家层做了 FP4 量化。

Cursor 的 Composer Fast 也在这条线上，部署在 Fireworks。⁠[10]Fireworks 用 8 张 B200、NVFP4 量化和 EAGLE-3 投机解码，把 Kimi K2.6 跑到 348 tok/s，是公开 API 服务商里最快的。⁠[11]

同一个 Kimi K2.6，Fireworks 348 tok/s，Cerebras 981 tok/s，差了近三倍。但 Fireworks 用的是市面上能买到的卡。

路线三：加钱买并行

Anthropic 的 Opus Fast 没有公开硬件。它不挂 draft 模型，每一步都由主模型算。快的来源是把模型切到更大规模的张量并行上，用互联带宽凑够 decode 需要的总带宽，再给 Fast 用户单独的通道。⁠33.Anthropic 没有公开 Opus Fast 的底层硬件，这段是按官方文档和业界推测整理的。

代价写在价格上。Opus 4.8 Fast 每百万 token 输入 10 美元、输出 50 美元。⁠[12]上面 Cursor 那张图里，Opus 4.6 Fast 的价格条也是最长的一根。

路线四：把模型刻进芯片

前三条路线都要从某种存储里读权重，区别只在权重放在哪、读一次能出几个 token。但第四条路线不一样，这属于邪道了，直接把权重做成了电路。

这也是有一段时间在推上很火。有家多伦多的初创公司 Taalas 在 2026 年 2 月发布了 HC1，台积电 6nm 工艺、815 mm²，整颗芯片把 Llama 3.1 8B 的权重刻了进去。芯片一百来层里只有两层金属层按模型定制，权重就固化在这两层里，KV cache 和 LoRA 放在可写的 SRAM 里。⁠[23]⁠[24] 官方标称单用户 17000 tok/s，Cerebras 跑同一个模型约 1900 tok/s。⁠[25]

代价也很直接：

• 一颗芯片只认一个模型：换模型就要重新改掩模、重新流片，Taalas 说从拿到新模型到做出芯片要两个月。
• 量化很激进：HC1 混用 3-bit 和 6-bit 参数，官方承认比 GPU 上跑同一个模型掉点。
• 装不下大模型：815 mm² 的一整颗芯片，只装得下一个 8B。

8 月 AMD 宣布收购 Taalas，打算把这套技术并进 Instinct 的路线图。⁠[26] 下一代 HC2 改用标准的 MXFP4，单片约 20B 参数，计划今年冬天到明年初推出。⁠[27]

不过我感觉这条路线也不是完全没有价值，只是取决于模型的上限在哪里、智能提升的边际效应到底在哪里，所以关键是模型什么时候值得刻。模型现在迭代很快，Opus 今年从 4.6 一路出到 5.5，跑分也一直在涨。两个月的流片周期，加上芯片好几年的折旧，刚刻好的模型很可能已经落后一代。但智能涨到一定程度，对坐在 IDE 里改代码的人来说就够用了。像 Opus 5.5 这种水平的模型，写日常代码已经很少需要换更强的，这时候把它固化下来，换到的是十倍以上的速度，就很值得刻进芯片。

卡住的是规模和成本。Opus 5.5 的参数量没公开，前沿旗舰普遍在 T 级。按 HC2 单片 20B 算，1T 参数要 50 片，晶圆图里约 3T 的 Kimi K3 要 150 片左右，而且每换一次模型，这一整批都要重新流片。量化也不能像 HC1 那么激进，旗舰刻进去要是掉了点，刻它就没意义了。所以短期内更现实的是刻中小模型，比如千问 27B 这种，前沿旗舰要等智能曲线放缓，或者单片容量再翻几倍。

平均快和稳定快是两回事

前面的数字大多是平均值或峰值。实际用起来，投机解码和并行路线的体感差别很大。

投机解码的速度取决于命中率。draft 模型猜对，几个 token 一次通过；猜错，主模型退回一步一个 token。模板化、可预测的代码跑得快，逻辑跳跃的段落速度就掉下来。当然现在社区里也有各种各样的黑科技，大家对硬件的性能压榨和算法探索从未停歇。比如从早期外挂独立小模型，演进到原生的 MTP、EAGLE-3，再到一步并行生成草稿块的 DFlash，以及在并行草稿后加轻量马尔可夫头修正的 DSpark。⁠[29] 不过它们拉高的始终是平均值，没有改变 decode 的带宽上限。

并行路线每一步都实打实地算，速度不随内容难度变化，所以曲线是平的。Cerebras 也是这一类，只是它不用拼卡，一块晶圆本身就够大。

想要又快又稳，目前只能靠硬件。投机解码能把平均值拉高，保证不了下限。

速度买到的是什么

Cognition 发布 SWE-1.5 时写过两句话：

Developers shouldn’t have to choose between an AI that thinks fast and one that thinks well.
With a model running at up to 950 tok/s, previously negligible system delays emerged as dominant bottlenecks.

SWE-1.5, Cognition

第一句是说速度和质量可以同时要。SWE-1.5 在 SWE-Bench Pro 上和 Haiku 4.5 差不多，比 Sonnet 4.5 低几个点，速度是它们的 7 到 13 倍。

第二句更实际。模型快到一定程度，原来可以忽略的工具调用、网络、编译延迟就成了主要瓶颈，整个 agent 链路都要跟着重做。

速度值多少钱，取决于怎么用模型。一种是共创：人坐在 IDE 里跟模型来回改，方向和审美由人定，等待会直接打断思路。另一种是放养：给一个目标，让 agent 自己跑几十分钟，这时候速度不重要，一次做对更重要。

共创场景里，模型的智能够用之后，差距就落在速度上。Artificial Analysis 的智能与速度散点图能看出现状：GPT-5.5、Claude Opus 4.7 这些旗舰都挤在 100 tok/s 以内。Gemini 3.5 Flash 智能指数 55，只比 GPT-5.5 低 5 分，速度约 280 tok/s，是右上区域唯一的点。⁠[13]

放养和陌生领域的任务，旗舰的智能溢价依然值得付。研究型的工作大概还是会选前沿模型，想要速度就只能接受 Opus Fast 这种高价档。共创占比高的人，可以认真看看高速档。

2026 年 11 月续

上面的正文写于 6 月。这几个月 AI 圈日新月异，确实发生了不少事情，有些走向也跟当时想的不太一样。

晶圆上的 Sol 没有普及

8 月 13 日，OpenAI 和 Cerebras 宣布 GPT-5.6 Sol 的 Ultrafast 档，跑在 WSE-3 上，标称最高 750 tok/s。⁠[14] 它一直是 API 有限预览，只给 Jane Street、Podium 这些少数客户，价格没公布，到现在也没对外开放。

Cerebras 自己在 8 月份出了频率提升版本的 WSE-3T，以及一个机柜装 3 片晶圆的 CS-4。10 月他们又把约 3T 参数的 Kimi K3 铺在 59 片 WSE-3T 上，跑到了 1000 到 2000+ tok/s，上面晶圆那张图的第二个视角画了这几种铺法。但我感觉碍于成本，这种方案目前没什么实际可用性，更多是用来展示技术实力，可能只有企业签大合同或者某些特殊场景下才会用到。

9 月 29 日的 DevDay 上，OpenAI 又发了一个 Ultrafast，这次是 GPT-6 Astra，跟上面那个是两回事。8 月的博客里声称 Ultrafast 能跑到 750 tok/s，但到了正式发布时，NVIDIA 的博客说它跑在 Blackwell GPU 上，官方标称在 Codex 里最高只有 300 tok/s。⁠[17] Artificial Analysis 的基准测试里，Astra Ultrafast 跑出约 188 tok/s，10 月上线的 GPT-6.1 Sol Ultrafast 约 220 tok/s。⁠44.Artificial Analysis 从 11 月起把速度榜的主指标换成了完成任务的耗时，这里的 tok/s 取自同一页的输出速度数据，几次快照之间有 10% 左右的出入。 但跑分归跑分，真实生产流量是另一回事。⁠[28]

Ultrafast 的价格是标准档的 6 倍，Astra Ultrafast 每百万 token 输入 60 美元、输出 300 美元。⁠[15]⁠[16] 但在 OpenRouter 的真实流量里，openai/ultrafast 一周平均下来只有 108 tok/s。GPT-6.1 Sol Ultrafast 掉得更厉害，一周平均只有 61 tok/s，跟两倍价的 Fast 档和标准档（都是 59 tok/s）几乎拉不开差距。订阅端这一档只有每月 500 美元的 Pro 500 和企业、教育版能用，个人开发者基本只能看看。

Opus Fast 反而变得划算

Anthropic 这边是另一个方向。Opus 4.6 和 4.7 的 Fast 是标准价的 6 倍，5 月 Opus 4.8 发布时降到 2 倍。9 月的 Opus 5.5 整体降价 20%，标准档每百万 token 输入 4 美元、输出 20 美元，Fast 跟着降到 8 美元、40 美元，也从研究预览转成正式可用。⁠[18]⁠[19] 到了 11 月 10 日刚发布的 Claude Fable 5.2，Anthropic 首次给 Fable 系列也加上了 Fast 模式。之前的 Fable 5 和 5.1 一直没有高速档，这波大概率是因为 GPT-6 Astra 出了 Ultrafast，所以紧随其后补上了。这次 Fable 5.2 标准档也从原来的输入 10 美元、输出 50 美元降到了 8 美元、40 美元，翻倍开 Fast 才 16 美元、80 美元，标称输出速度提升 2.5 倍。⁠[12]⁠[19] 回想一年多前 Opus 4.1 发布的时候，标准档就要 15 美元、75 美元，跟现在的 Fable 5.2 Fast 价格差不多，但如今的智能水平和速度早就不在一个量级了。

Opus 5.5 Fast 在官方端点上一周平均有 154 tok/s，差不多是标准档的两倍，比贵了 7.5 倍的 Astra Ultrafast 还要快一截。同样是加钱买速度，OpenAI 的 Ultrafast 收 6 倍价钱却在真实负载下频繁掉速，Sol Ultrafast 在 11 月 5 日至 8 日甚至掉到了 33 到 36 tok/s，低于自家的标准档。Anthropic 的 Fast 只收 2 倍，速度也稳得多。

订阅端越来越慢

另一边，ChatGPT 订阅用户这几个月一直在抱怨 Codex 卡、慢。9 月底 GPT-6.1 Sol 发布后抱怨最集中，X 上有开发者拿同一套提示词测了一遍 API 和订阅端的速度。同一个 GPT-6.1 Sol 走 API 是 73 tok/s，进 Codex 订阅只有 22 tok/s，连订阅开 Fast（46 tok/s）都跑不过普通 API。反观 Claude Code 订阅里的 Opus 5.5（97 tok/s）和 Fable 5.1（96 tok/s），跟 API 直连基本没差别。

• kirill sh@shneural

  Codex subscribers are getting a slowed-down version of the same models

  same prompts, measured tokens/sec: — GPT-6.1 Sol in Codex: 22 t/s — same model via API: 73 t/s (3.3x faster) — even Codex Fast (46) is slower than the regular API

  meanwhile Opus 5.5 in Claude Code: ~97 t/s, API ~113. basically the same

  6.1 Sol on subscription is painfully slow. I'm tired of waiting for it

  X，2026-10-01

• Irushi@Im_IrushiK

  Now the GPT Sol 6.1 slowness makes a lot more sense

  - Same model: API: 73 tok/s Codex subscription: 22 tok/s - Meanwhile Opus 5.5 on Claude Code is doing 97 tok/s.

  Sol 6.1 might be a great model with great usage efficiency, but Codex is seriously holding it back on speed.

  Atp, the model isn't the problem. The subscription experience is.

  X，2026-10-01

• messikiller

  都还没用astra，平时正常用的5.6-sol + medium 都很慢了。是不是奥特曼算力炸了？

  LINUX DO，2026-09-08

• puppywang

  RT，越来越慢了，之前20多还能干活，现在还 1x 真的是干不了活，sol还喜欢想太多，然后一个简简单单的活，能干好几个小时，真的是坑爹

  LINUX DO，2026-11-02

WorkOS 9 月做过一次对比，同一个 GPT-5.6 Sol、同一组 agent 任务，分别走 API 和订阅：

• 标准档：API 39.2 tok/s，订阅 28.1 tok/s，订阅端整体慢 1.5 倍，答题质量没差别。⁠[20]
• 订阅开 Fast：速度大约等于 API 不开 Fast 的默认速度。⁠55.WorkOS 每组跑 10 次 TypeScript agent 任务，中位比值 1.02 倍，剔除离群值后 0.94 倍。

10 月 5 日，Tibo Sottiaux 宣布订阅端默认速度提升约 50%，等于承认之前订阅的速度确实被压着。

• Tibo@thsottiaux

  Day 1/

  We have optimized the default speed to be ~50% faster across GPT-6 Astra and GPT-6.1 Sol through the subscription across all our products and partners using Sign in With ChatGPT (including OpenCode, Pi, Amp, Devin, ...).

  No changes needed on your end and this should be felt within the next two hours.

  X，2026-10-05

包月订阅本质上都是算力补贴。算力紧张的时候，单用户的吞吐会被让给更大的并发容量，因为订阅用户是厂商补贴的，这部分体验自然最先被让渡出去。

• Sam Altman@sama

  Ultrafast is

  so fast

  I do not ever want to go back

  X，2026-09-29

我怀疑只有他自己用的才是真正满血的 Ultrafast，或者说真正的 Cerebras 晶圆版还在内部沉淀。

速度伴随着高昂的成本

那么现在还能把速度做便宜的，大概是这两类厂商。一类是推理资源有冗余、模型没那么供不应求的。另一类是从模型架构本身降本，10 月更新的 DeepSeek V4.1 Flash 1017 就是代表。它用了因果编解码（CED）架构，总参数 552B 的 MoE 在输入时只激活 8B，decode 输出时只激活 16B。⁠[21] 激活参数小，每个 token 要读的权重就少，decode 天然快。它在 OpenRouter 官方端点上每百万输出只要 0.6 美元，一周平均 P50 有 98 tok/s，切到 Together 或 Baseten Fast 这类第三方算力商还能跑到 232 甚至 580 tok/s。国产推理栈也在往这个方向走，V4.1 Flash 在华为昇腾 950 的离线测试里单卡跑到了 2469 tok/s，单用户 5 ms 一个 token。⁠66.华为自己的离线测试，EP32、128K 上下文，不含调度开销。DeepSeek 线上 API 是否跑在昇腾上，没有公开说法。 DeepSeek 发 V4 时说过，等昇腾 950 超节点批量上市就大幅降价，不过 950DT 的规模供货要到今年底或明年初。

所以我现在的看法是，推理速度依然是竞争点，但它背后伴随着高昂的成本。预填充靠芯片算力，解码靠显存带宽。Cerebras 这类晶圆产能有限，GPU 这边又受限于 HBM3e、HBM4 这类高端 DRAM 的供给，靠大规模并行凑带宽同样很贵。至于 Ultrafast，愿它长寿！

参考文献

1. [1]CognitionIntroducing SWE-1.5
2. [2]OpenAIIntroducing GPT-5.3-Codex-Spark
3. [3]OpenAIGPT-5.6
4. [4]Artificial AnalysisGPT-5.6 Sol 服务商对比
5. [5]CerebrasWSE 芯片介绍
6. [6]CerebrasKimi K2 企业版
7. [7]GroqLPU 架构
8. [8]智谱GLM-5.1 高速版文档
9. [9]小米MiMo × TileRT 1000 TPS
10. [10]CursorComposer 2
11. [11]Artificial AnalysisKimi K2.6 服务商对比
12. [12]AnthropicFast mode 文档
13. [13]Artificial AnalysisGemini 3.5 Flash 评测
14. [14]CerebrasAccelerating GPT-5.6 Sol Ultrafast with OpenAI
15. [15]OpenAIUltrafast mode 文档
16. [16]OpenAIAPI 定价
17. [17]NVIDIAGPT-6 Astra Ultrafast
18. [18]AnthropicIntroducing Claude Opus 5.5
19. [19]Anthropic定价文档
20. [20]WorkOSCodex allowance runs out? Use an API key, not credits
21. [21]DeepSeekDeepSeek-V4.1-Flash 模型卡
22. [22]Artificial Analysis模型排行
23. [23]TaalasThe path to ubiquitous AI
24. [24]Unite.AIAMD Buys Taalas to Put Hard-Wired AI Models in Its Accelerator Roadmap
25. [25]heiseAI inference cast in silicon: Taalas announces HC1 chip
26. [26]AMDAMD Acquires Taalas
27. [27]Tech TimesAMD Buys Taalas to Hardwire AI Models Into Silicon
28. [28]OpenRouter模型各端点吞吐与延迟实测
29. [29]NVIDIACo-Designing AI Models Using Speculative Decoding for Faster LLM Inference