大模型硬件架构的终局推演：从 GPU 独舞到异构编舞

前情说明：这不是一篇原创，是一份"读推整理"。 素材全部来自 X 博主 @fi56622380（网名 fin）2025 下半年到 2026 上半年发表的一系列半导体/AI 硬件长推。这位博主的正职是芯片架构师，观点以架构师视角为主，兼有二级市场投资视角。 我做的事情只有两件：主题重组 和 脉络串联——把他分散在十几条推里的核心观点，按四条主线重新拼出一张地图。所有加粗判断都来自原推。文末附完整原推链接，读原文为准。

---

前言：一个观察者的位置

在 2025 到 2026 这一年半时间里，AI 硬件的叙事发生了一次几乎彻底的重心迁移。

如果说 2023-2024 年市场关心的还是"Nvidia 到底能卖多少 GPU"、"AMD 什么时候能追上"、"哪家 startup 能替代 Nvidia"这类单点比拼问题，那么进入 2025 下半年之后，一线架构师和产业分析开始把讨论主题拉到了另一个层级——

AI 硬件已经不再是 GPU 一件事，而是一整套异构系统的价值再分配问题。

fin 从 2025 年年底那篇《回顾 2025 半导体市场》起，用了大约十几篇长推，把这个新范式的整套逻辑链讲完了。本文按四个主题重组：

1. 估值体系重构：半导体如何吞掉互联网利润
2. Token 经济学的第一性原理：为什么 HBM 会变成 AI 时代的宿命
3. 周期性 vs 结构性：HBM / DRAM / NAND 能不能摆脱传统周期
4. 异构推理的新序幕：CPU、SRAM/LPU、CPX、ICMS——大模型硬件的下一站

---

一、估值体系重构：半导体正在吞噬 IT 利润

fin 抛出的第一个宏观判断，是整个 IT 产业的价值分配在被重写：

• SP500 里半导体净利润 EPS 在 IT 行业里的占比，两年时间从不到 20% 上升到 40%，还在加速
• 半导体整体前瞻利润率从 2023 年的 25% 升到 2025 年 11 月的 43%，已经超过几家互联网巨头
• 20~22 年那一轮芯片荒虽然缺得离谱，但半导体在 IT 利润分配里的比例并没有明显增长——那次是短缺，这次是范式

这个现象背后的商业模式逻辑是：

互联网时代，每次请求的边际成本极低，scaling 分发几乎零成本。 而 AI 时代，训练不再是一次性开销，推理成本也不会随硬件通缩同比降低。互联网公司历史上第一次要像 foundry 那样背高折旧的资产负债表——商业模型从"流量 × 转化率"逐渐转向"每 token 毛利"。

看财报里 capex 占比：MSFT 33%、Meta 38%。fin 的定性是——

上个时代的互联网 + CSP + SaaS 是最大赢家；AI 时代，算力（半导体/芯片折旧）成为新的收租行业。

这种利润分配的迁移能持续多久？他给了一个参照：OpenAI 2030 年的算力构成已经明牌成"10GW Nvidia + 10GW ASIC + 6GW AMD"，按 60% 推理 40% 训练拆开后，得到 NV 38% / ASIC 39% / AMD 23% 的分布，几乎是行业的标准答案。而这场基建投入曲线和 AI 变现曲线之间的"时间错配"，至少要持续到 2030 年。

Meta 那笔 6 年 100 亿美金的 TPU 订单？fin 直接算了一下——年均 16 亿，只占 Meta 未来 6 年 capex 平均 160B 的 1%，加上 Meta 内部并没有招 TPU engineer，主要目的是给 Nvidia 议价，对 Nvidia 利润率影响非常有限。

---

二、Token 经济学：HBM 是这个时代的宿命

这是 fin 整个系列里最硬核、最值得反复读的一篇——《AI 半导体终局推演 2026 (I)》。核心是从 GPU 架构的第一性原理，推出为什么 HBM 需求必须指数增长。

2.1 计算范式的 KPI 变了

CPU 时代：最高 KPI 是 performance，DDR 只是辅助，速度翻倍性能提升不到 20%。所以 DDR3 → DDR5 走了 15 年，DRAM 就是"锦上添花的附属品"。

GPU 推理时代，最高 KPI 变了——

不是 TOPS/FLOPS，而是「单位成本/单位电力下的 token throughput」+「token 吞吐速度」。

老黄发明的 AI 工厂概念就是这个 KPI 的载体：Nvidia GPU 是这个世界上让 token 单价最便宜的 GPU，买得越多，赚得越多。

2.2 第一性原理的推导

fin 用了个非常直观的机场接驳车比喻，把公式推出来了：

Token throughput = batch size × per-user token 速度
                = (HBM size × 常数) × (HBM 带宽 × 常数)

              ⇒  Token throughput ∝ HBM size × HBM 带宽

• batch size 的瓶颈是 HBM size：每个请求带自己的 KV cache（几 GB 到几十 GB），必须放在 HBM 里（因为要频繁读——比如 80 层模型每生成一个 token 就要读 80 次）。batch 变大 → hot KV cache 线性变大 → HBM size 必须跟着长。
• per-user token 速度的瓶颈是 HBM 带宽：decode 阶段每生成一个 token 都要把激活权重和 KV cache 读很多遍，速度线性正比于 HBM 带宽。

结论极其冷酷：

只要老黄还要卖 GPU，HBM 就必须翻倍，而且必须代代翻倍。这是 supply side 的内生压力，与 AI 需求无关，与宏观周期无关，与 hyperscaler 的心情无关。

fin 把 Nvidia 从 A100 到 Rubin Ultra 的 token throughput 曲线，和 HBM size × HBM 带宽的曲线在对数轴上一画——两条线几乎完全重合。这不是巧合，是系统最优化的必然解。

2.3 KV cache 会不会哪天消失掉？

那么合理的追问是：如果 Transformer 被换掉了呢？attention 机制被淘汰了呢？

fin 的答复是历史规律：

每一次 AI 模型架构革命，真正被保留下来的，是那些在数学上具有普适性的 primitive 操作。FFN（前馈网络）从 2012 年活到今天，是因为 universal approximation theorem。Attention 大概率也是这样的 primitive——它解决的是"序列中任意两个位置之间的 dynamic routing"，一旦被验证有效，就很难被丢弃。

所以即便未来演进到混合架构、世界模型，attention 层依然会存在，KV cache（或它经过 latent compression 后的等价物）依然需要，HBM 依然是推理核心之一。

这条依赖 HBM 指数增长的进化路线，不会停止。

2.4 GPU 每代的 HBM 装机量

GPU / ASIC	HBM 配置
H100 (2022)	80 GB HBM
Nvidia Ultra Rubin	1024 GB HBM
AMD MI400x	432 GB HBM
Qualcomm AI200	768 GB LPDDR

三年从 80GB 到 1024GB，暴力美学。而且 fin 说，HBM size 每年增长 40% 以上——而 DRAM 供给端的复合能力是 14% wafer 增长 × 9% density 提升，根本追不上。

---

三、周期性 vs 结构性：内存/存储行业的重估

这是《AI 半导体终局推演 2026 (II)》的核心。市场对内存最大的怀疑是：HBM/DRAM/SSD 会不会摆脱传统周期性？

3.1 摆脱周期性的三条件框架

fin 建了个非常干净的框架，摆脱传统周期需要三选一或多选：

1. 定制化（产品不可互换 → 长约）
2. 结构性的指数级需求增长（供给追不上）
3. 技术迭代快速升级（旧产品快速淘汰）

用这个框架逐个打分：

HBM：占两条半，最优等生

• 定制化（半条）：只有封装和 base die 是定制，上面十几层 DRAM die 还是 JEDEC 标准。所以三星 HBM3E 掉了 NVIDIA 份额后能立刻转给 Google/AMD——产能仍然可以转移。HBM4 之后 base die 的定制化会加强。
• 结构性指数需求（满足）：就是上一章那条 token throughput = HBM size × HBM 带宽 的曲线。
• 技术迭代（满足）：DDR3→DDR5 走了 15 年，HBM 每 2 年一代，速度指数上升（2 → 3.5 → 4.8 → 8 → 22 TB/s）。旧 HBM 快速贬值，HBM3 已经基本没主流产品用了。

囤货贬值太快 → 厂商从"拼产能占市场"（quantity competition）变成了"拼下一代 NVIDIA qualification 份额"（quality competition），跳出了传统 DRAM 那种下行期"谁减产谁吃亏"的囚徒困境。

结果：HBM 从传统周期性 → 成长周期性（上行赚多，下行赚少而非亏损），而且这一轮周期特别长。

传统 DRAM：一年前市场没共识，现在开始有

一个关键新逻辑——2025 年年底之后：

Agentic CPU 开始释放潜力，CPU 附带的那部分 DRAM 需求，正在成为 DRAM 新的结构性指数增长来源。

两层放大：

• 第一层：CPU server TAM 快速增长。AMD 说 2030 年 60B → 两个月后 AMD/ARM 翻倍到 120B → 一个月后 Nvidia 再翻倍到 200B → 上周 Bernstein 提到 223B。fin 认为 2031 年上修到 400B 没什么悬念。
• 第二层：每个 CPU core 配备的 DRAM 用量增长。Agent 是带状态的长驻进程（不像 stateless 的 web 请求），context window 从 32K → 256K → 1M 一路涨，sandbox 隔离还要求每个任务复制大量数据库和上下文——技术上很难压缩。所以从传统 48 GB/core → 1632 GB/core。

两层相乘：2030 年 300B CPU TAM，按 16GB/core 保守估算，新增 DRAM 需求最少 96 EB——而今年 DRAM 总产量只有 47 EB，明年勉强 60 EB。缺口大到超乎想象。

再叠加 HBM 每年抽 3~5% 的 wafer 走（HBM bit tax），传统非-HBM 的 commodity DDR bit growth 只剩每年约 20%。

长鑫的冲击有多大？

fin 认真做了数值分析：

• 长鑫 DRAM bit 密度大约只有御三家的一半左右
• 折半后，2025→2028 长鑫对全行业 DRAM bit 产能 CAGR 的影响只有 1.5%（14.2% 对比 12.7%）
• 2030 年即便乐观预期，最多把全行业等效 bit CAGR 从 20% 拉到 23%
• DDR6 需要更高速率（14400 MT/s 起步）+ 更高密度，御三家会用 EUV 1c 节点；长鑫光刻机受限，DDR6 上速率和密度可能双双落后

结论：长鑫扩产不足以把 DRAM 带回周期泥潭。

DRAM 会持续多久？

fin 的答案是"起码五年看不到头"。除了 CPU 需求带来的结构性指数增长，还有一个被市场低估的蓄水池逻辑：

被涨价消灭的需求不是真的消失，只是延迟了。内存换算力/速度是一个蓄水池、低价值 task 是一个蓄水池、端侧 AI（AI PC 从 24GB 涨到 128GB）是一个蓄水池、常规消费电子/低端手机也是蓄水池。这么多蓄水池叠在一起构成极厚的需求缓冲垫，DDR 一降价就有需求接盘，价格很难崩。

NAND / SSD

结构性增长动力不如 DDR 强，但四条增量都在同时发生：

1. AI 推理里的 KV cache offloading（warm/cold KV cache 卸到 SSD）
2. AI 视频（Seedance 一年 10~40 倍增速，等缺卡问题过去就爆发）
3. Agent 的 sandbox 副产品
4. 2030 年之后可能的 HBF 路线（存放 model weights）

fin 的判断：HBM、DRAM、NAND 不是三个独立故事，而是同一 AI memory hierarchy 在不同温度层的结构性增长。

---

四、异构推理新序幕：GPU 独舞时代的落幕

如果说前面三章是"AI 硬件的宿命"，那么这一章就是"AI 硬件的下一站"——异构推理。

4.1 GTC 2026：Nvidia 亲手打开了这一幕

fin 是极少数在 GTC 2026 之前就把这条路线写清楚的架构师之一。他的《GTC 2026 preview：从 Groq 生态位看 AI 异构推理新时代》和事后《复盘 GTC 2026》两篇长推，把整个逻辑闭环了。

大幕开启的信号是 Nvidia 收购 Groq。fin 花了大量篇幅解释 Groq 的技术本质——

Groq 本质上是一个 compiler first 走到极致的路线，SRAM 只是副产品。它做的是完全确定性编译器（fully deterministic compiler），精确到每个时钟周期。为了这个"编译时决定一切"，运行时的一切不确定性都必须消除——所以 cache 换 scratchpad、DRAM 换 SRAM、arbiter/crossbar/replay 全砍掉。

也因此，SRAM 路线不能"替换" HBM 路线：

• DRAM 的物理特性决定了它天然带不可预测的延迟（refresh、bank scheduling、address hashing），无法与确定性 compiler 兼容
• Nvidia 的 SIMT 路线（用 warp switching 隐藏延迟）和 Groq 的 VLIW / compiler first 哲学是相反方向

所以 Groq 在 Nvidia 的唯一出路是：独立的、面向 low latency decode 的专用产品。

4.2 Nvidia 的异构编排方案

Nvidia 给出的架构（GTC 2026 官宣）：

阶段	硬件	逻辑
控制 / 调度 / agent runtime	Vera CPU	orchestration
Long context prefill	CPX（Content Phase aXcelerator）	compute-bound 专用
小模型 / 低延迟 / low batch decode	LPU (Groq)	256 卡 SRAM 集群
高吞吐 / 高并发 batch decode 的 attention	Rubin GPU (HBM)	KV cache 巨量，只 HBM 能扛
高吞吐 batch decode 的 FFN/MLP	LPU (Groq)	128GB SRAM 装权重刚好
KV cache 分层缓存	ICMS / CMX（context memory storage）	缓存异构，新一层

这套方案最精巧的一点：decode 阶段的 attention 放 HBM GPU，FFN 放 LPU。因为 attention 阶段的 KV cache 动辄几十上百 GB，LPU SRAM 装不下；而 FFN 阶段占 decode 50% 以上（短 context 甚至 60%+），装到 SRAM 上有几倍加速。

代价：一个 token 需要在 GPU 和 LPU 之间往返 80 次（对应 80 层 transformer），中间是 Spectrum-X Ethernet 承载，会有延迟累积。但整体测算能把最高速度突破 1000 token/s，同时 batch size 保持在能产生商业价值的量级——这才是关键。

4.3 SRAM 路线的经济学：不会颠覆 HBM

fin 做了一个成本核算：跑 LLAMA 70B，Groq 需要 576 张卡（16 级 pipeline × 36 卡 tensor 并行），零售价 110 万美元 vs 2 张 H100 不到 10 万美元。成本差 10 倍以上。

Groq 现在的 API 便宜是两个原因叠加：Nvidia 云商加倍卖 + Groq 自己亏钱运营（2025 全年营收 4000 万，成本 6000 万，毛利 -50%）。"便宜"不是因为 SRAM 经济性好，是因为 VC 在补贴。

但速度溢价市场是真的存在的：Claude Opus 4.6 Fast 模式速度提 2.5 倍，价格直接从 $5/$25 涨到 $30/$150 per M tokens——6 倍价格。所以 SRAM 路线的生态位是：

极致速度、低 batch、real-time / interactive LLM（chat、copilot、reasoning、agent），这个细分市场大约占 hyperscaler workload 的 10%。

fin 的定性收尾很漂亮：

H100 / B200 相当于大巴车，装的人多（batch 大），人均票价便宜，但慢悠悠。 Groq / Cerebras 相当于法拉利，极致速度体验，装人少，人均票价是大巴的十倍。

长期来看，SRAM 的成本劣势是结构性的——6T SRAM cell 天然比 1T1C DRAM cell 贵，物理决定，和工艺无关；而且 SRAM scaling 已经放缓，N5 到 N3E SRAM 单元几乎没有缩小。同时 HBM 速度每代都在指数增长，SRAM 十年前对 HBM 是"降维打击"（两个数量级），现在差距不到一个数量级，再过十年可能就拉不开了。

4.4 SRAM startups 的历史命运

fin 讲了一个非常有画面感的故事：

Groq 主要架构 1718 年就完成了，那时是 CNN 时代，测 ResNet50。进入 LLM 时代，一个 LLAMA 70B 参数量相当于3000 个 ResNet50，就不够看了。2024 年整个市场是训练份额，SRAM 路线 startup 处境极其艰难，"太多人在黎明前放弃"。25~26 年 agent 让 token 速度成为核心 KPI，SRAM 路线才焕发第二春。

他用了一个非常人文的收尾：

从后视镜回看，他们并不是精准预见了未来，而是艰难地活到了未来终于需要他们的那一刻。有一种惊心动魄而又柳暗花明的历史美感。

4.5 SambaNova 的悲喜剧

作为 SRAM 路线群像的注脚，fin 追踪了 SambaNova 一年的连续剧：

• 2025 年 10 月：Oracle 传言收购。fin 直接判断不靠谱——业务无 synergy、Oracle 早退出 ASIC 业务、缺全栈能力、大客户宁愿选 TPU 也不会选 SN。判断是"SN 融资不顺利在给下轮融资制造声势"
• 2025 年 10 月底：Intel 亲自上阵谈收购
• 2026 年 2 月：大结局——Intel 出价 1.6B，价格太低没谈拢，SN 转向融资 350M，"能支撑不少时间了"

4.6 CPU 的第二春

这是被 2025 年市场严重低估的部分。fin 用了 4 条逻辑：

1. CPU:GPU 配比从 1:4 到 1:2，未来可能 1:1（NV Vera + Rubin、Google Axion + TPU、Amazon Graviton + Trainium）
2. Agentic workload 里 CPU 是"永远在忙的 orchestrator"——用 SWE-Agent / LangChain / Toolformer 做 profiling，CPU 最长可占 90% E2E 延迟，能耗也超过总能耗的 40%
3. Coding agent 的 Jevons 悖论——Claude code 三个月 token 营收涨 3 倍，"人均 coding 量翻倍甚至十倍"，App / API 生产成本降到原来 10% → API usage 大量上升 → 传统 CPU workload 结构性上升，甚至和 agentic 没直接关系
4. CPU 是技术上很难通缩的东西——不像 KV cache 有各种压缩（GQV、TurboQuant、FP4），CPU workload 每年只有 10~15% 的跑分通缩

结果 ARM 说 CPU 供需缺口可能到 30% 以上。而 hyperscaler 新增 CPU 里 50% 已经是 ARM——Google Axion、Amazon Graviton、Microsoft Cobalt、Nvidia Vera，Graviton 2026 年产能已经全部卖完。

Nuvia 团队五年后再度出山创立 Nuvacore，红杉 240M 首轮融资，就是踩在这个风口上。fin 的定性："AI 时代的 CPU 前景真的太广阔了"。

---

五、次生效应与黑天鹅

最后 fin 有一条经常被忽略的观察——云端 AI 数据中心的爆发对消费电子是黑天鹅：

• HP 已经说要把 PC 内存降到 8GB
• DRAM 现货价格已经贵到超过 CPU / GPU 的离谱程度
• 明年年初开始安卓阵营的内存/存储成本压不住，三星、小米售价要提

利好谁？苹果。苹果的内存/NAND 都是专属长约锁价特供，甚至把 Kioxia 也坑了不涨价的产能——iPhone 接下来可能有一段辉煌时光。

fin 那句戏谑："每个 PC 厂商和手机厂商的员工，甚至消费电子厂商的员工，都应该买入存储和内存作为职业风险对冲。"

同理还有一条来自 2025 年 10 月他关于 Amazon 裁员 3 万的观点：

AWS 增速下降 → 被市场惩罚 → 只能砍工资来省钱买 GPU → 每一个互联网公司的 SDE 打工人，都应该买入 Nvidia / AMD 作为风险对冲，弥补自己被 GPU 挤出价值链的风险。

---

六、结论：大模型硬件架构进入哪一步了？

按 fin 这一整年的推演，可以画出这样一张地图：

       ┌────────────────────────────────────────────────────────────┐
       │           大模型硬件架构：2025-2026 的范式迁移              │
       └────────────────────────────────────────────────────────────┘
                                    │
        ┌───────────────────────────┼───────────────────────────┐
        ↓                           ↓                           ↓
    价值分配                    第一性原理                    架构形态
        │                           │                           │
   半导体吞噬 IT              Token throughput            从单点 GPU
    利润 → 40%                 = HBM size × BW            → 异构推理系统
        │                           │                           │
    互联网变成                  HBM 代代翻倍                CPU/CPX/GPU/LPU
   收租业主同款                (物理必然)                  /ICMS 编排
    资产负债表                                                  │
                                                          Nvidia 定义
                                                          "整套系统"

fin 的判断可以浓缩成三句话：

1. 算力主线：Nvidia GPU + HBM 的组合会占据未来 10 年主流，因为 token 经济学的第一性原理逼着 HBM 代代翻倍，这不是需求驱动，是架构驱动。
2. 辅线繁荣：CPU（尤其 ARM）、SRAM/LPU、CPX、DRAM、NAND 都会因为异构推理和 agentic workload 进入结构性上升期；SRAM 路线不会颠覆 HBM，只会作为异构里的一个 tier。
3. 系统竞争：Nvidia 的护城河已经从"做一颗好芯片"升级到"定义一整套异构系统"，追赶的门槛不再是单点参数，而是软硬件全栈的编排能力（Dynamo / ICMS / CMX）。

这场大戏 fin 说是"合纵连横的第一回合"。回合再多几个，格局会更精彩。

---

附：本文素材来源

按主题分类的原推链接（都出自 @fi56622380）：

估值与市场结构

• 2025 半导体年度总结（2025-12-01）
• Amazon 裁员 3 万 · SDE 应买入 Nvidia 对冲（2025-10-28）
• GPU 折旧论 · AI 泡沫论新论据（2025-11-11）

Token 经济学与 HBM/DRAM/NAND

• AI 半导体终局推演 2026 (I) · Token 经济学从 GPU→HBM（2026-04-29）
• AI 半导体终局推演 2026 (II) · 内存存储会不会摆脱周期（2026-06-25）
• DRAM 配置削减 · CPU 200B TAM（2026-06-05）

异构推理与 SRAM/LPU

• GTC 2026 preview · 从 Groq 生态位看 AI 异构推理（2026-03-10）
• 复盘 GTC 2026 · Nvidia 补短板削弱 startup（2026-03-22）
• GTC 后 AI 异构推理时代 · Cerebras SRAM 路线（2026-05-15）
• AI startup 架构问题 · Groq 17 年 CNN 架构（2026-05-10）

CPU 与 ARM 服务器

• Nuvacore · 数据中心 CPU 最好的时代（2026-04-16）
• CPU 增长来源与 agentic flow（2026-04-18）

其他相关

• 华为 τ scaling · 41% 能耗 12.7% 性能怎么来的（2026-05-26）
• Oracle 收购 SambaNova 不靠谱（2025-10-26）
• SambaNova 结局 · Intel 1.6B 谈崩（2026-02-24）

---

整理于 2026-07-29。观点全部归属原作者 @fi56622380。转述可能有解读偏差，读原推为准。