推理引擎 2026 · 六条正在快速演进的技术主线

前情说明：前面的 AI Infra 系列讲了 vLLM/SGLang 的当前实现和过去三年演进。这一篇换个视角——看 2026 年上半年推理引擎领域正在发生什么。跳过基础介绍，直接讲六条最活跃的技术主线，每条主线的现状 + 代表工作 + 未来方向。素材来自 vLLM Blog、SGLang/LMSYS Blog、NVIDIA TensorRT-LLM Docs 三家 2026 年上半年发布的所有关键文章（截止 2026-07-30）。

开场：为什么 2026 是分水岭

如果 2023-2024 是"打地基"（PagedAttention + Continuous Batching + Prefix Caching + Speculative Decoding），2025 是"重构与整合"（vLLM V1），那 2026 是"进入生产深水区"——

训练时代结束（《训练时代的黄昏》）→ 所有算力向推理转移
万亿参数 MoE 成为主流（DeepSeek V4 1.6T / Kimi K3 / TML Inkling 1T）→ 单机装不下
1M+ context 成为标配（DeepSeek V4 / MiniMax M3 1M tokens）→ KV cache 必须重新设计
Agentic workload 崛起（《Agentic CPU 完全体》）→ 引擎从服务单请求变成 orchestrate 工作流

每一个变化都在给推理引擎提新要求。我把 2026 上半年最活跃的技术方向归成六条主线——

主线一：P/D Disaggregation 从"探索"到"标配"

现状

Prefill 和 Decode 应该分开跑——这个 idea 2024 年就有（Mooncake、DistServe），但直到 2026 年才真正大规模落地。

为什么现在？ 因为万亿参数 MoE 让 P/D 分离的收益从 "1.5x 有点意思" 变成 "3x 不做不行"：

Prefill：算力 bound（一次跑几千 token）→ 需要高算力 GPU（B300 / H200）
Decode：带宽 bound（每次跑 1 个 token）→ 需要高带宽 HBM
混跑在同一节点 = 两边都拖后腿：decode 被 prefill 打断，prefill 又抢不到全部算力

分开跑后，可以：

Prefill 节点用便宜的算力密集卡（甚至可以用 4090 集群）
Decode 节点堆高带宽卡（H200 / B300 / MI355X）
两者之间通过 RDMA 高速传 KV cache

代表工作

vLLM 侧：

Next-Level Inference（2026-04-07）：单节点 8×MI300X 上的 P/D 分离，用 AMD MORI-IO 做 KV 传输
Disaggregated Serving for Hybrid SSM（2026-04-21）：连 Mamba/Jamba 这种 SSM 混合模型也能 P/D 分离
GLM-5.2 on B300（2026-07-23）：24×B300 上把 mean TPOT 从 40ms 压到 17ms

SGLang 侧：

PD Disaggregation Roadmap Q2 2026：几乎所有模型架构、所有并行策略都支持 PD 模式
Kuncoro Wibowo 那篇 blog 报告 2-3x throughput 生产收益

TensorRT-LLM 侧：

通过 Helix Parallelism 实现 P/D 分离（NVIDIA 官方术语）

关键技术挑战

不是"分开跑"那么简单，真正的难点：

KV cache 高效传输——一个万亿模型的单请求 KV 就 GB 级，必须用 RDMA / NVLink / CXL；vLLM 的 NIXL connector interface 就是干这个的
Prefix cache 跨节点共享——同一个 system prompt 的 KV，最好只在一个 prefill 节点算一次，多个 decode 节点复用
调度协调——请求进来先给谁？P 完了塞到哪个 D？失败重试策略？

未来方向

多层 P/D 分离：不只 P 和 D 两级，未来会分成 Prefill Node / Cache Node / Decode Node 三级（KV 冷热分离）
跨节点 prefix cache（Mooncake Store 的方向）：整个集群共享一个 KV cache 池，任何节点都能读
异构 P/D：Prefill 用便宜卡，Decode 用贵卡（fin 讲的 GTC 2026 异构架构落地）

主线二：KV Cache 分层与外部化

现状

传统的 KV cache 只有一层：GPU HBM。但 HBM 又贵又稀缺，一旦跑满就得 evict。KV cache 越来越像 CPU 的 L1/L2/L3 缓存——多层次、分冷热。

Level 1: GPU HBM      (纳秒级，几 GB - 几十 GB)  → 活跃 request KV
Level 2: CPU DRAM     (微秒级，几百 GB - TB)     → 温缓存
Level 3: SSD          (毫秒级，几 TB - PB)       → 冷缓存 / 历史对话
Level 4: 外部 KV 服务  (跨节点，无限扩展)         → 集群共享缓存

代表工作

LMCache（vLLM 生态）：

提供 CPU/SSD/远程存储三层扩展
与 vLLM prefix caching 深度集成
命中率显著提升（尤其对多轮 chat）

Mooncake Store（vLLM x Mooncake，2026-05-06）：

KV cache-centric disaggregated architecture
用 CPU DRAM + SSD 做分布式 KV 池
高性能 Transfer Engine（RDMA-based）
重点服务 agentic workload（多轮/多实例共享前缀）

PegaFlow（vLLM x Novita AI，2026-05-18）：

Rust daemon + CUDA IPC + RDMA + SSD
通过 vLLM external KV connector 集成
改善 startup / sharing / throughput / lifecycle

Elastic Expert Parallelism（vLLM 2026-05-14）：

MoE 场景下运行时动态调整 DP worker 数量
专家在线迁移，无需重启服务器
本质是"MoE weight 的分层管理"

关键技术挑战

一致性：多层缓存之间的一致性怎么保证？Write-through 还是 write-back？
淘汰策略：跨层的 LRU 怎么设计？（HBM evict 后到 DRAM 还是直接丢？）
网络传输：跨节点传 KV 的带宽会不会成为新瓶颈？（RDMA 也就 400Gbps）

未来方向

CXL 3.0 pooled memory 变成 L2：CPU 和 GPU 共享一大池 DRAM，无需拷贝
NVMe-oF 直挂 KV：SSD 直接暴露给 GPU，不经过 CPU
Semantic KV Cache：不只精确匹配，还能做语义相似的缓存复用（研究前沿）

主线三：Attention 机制的革命性重构

现状

1M context 是 2026 年的分水岭。DeepSeek V4、MiniMax M3 都原生支持 1M token。但传统 attention 在这个尺度会爆炸：

KV cache: 1M token × 61 layer × 每 layer 数 KB → 单请求 80+ GiB
Attention compute: O(N²) → O(1T flops per token)

基本上必须重新设计 attention，才能让 1M context 商用。

代表工作

DeepSeek V4 (vLLM 深度解析，2026-04-24)——集大成者：

Shared KV：Key 和 Value 用一个 tensor（2x 节省）
c4a / c128a 压缩：把 4 或 128 个 token 的 KV 压成一个（4x 或 128x 节省）
- c4a：8 个原始 token → 1 个压缩 token，stride 4
- c128a：128 个原始 token → 1 个压缩 token，stride 128
DeepSeek Sparse Attention (DSA)：即使压缩后，只 attend top-K 个压缩 token
Short SWA：128 大小的 sliding window 保留局部信息

结果：DeepSeek V4 在 1M context 下 KV cache 9.62 GiB/序列（bf16）——比 V3.2 小 8.7 倍。加上 fp4 indexer + fp8 attention，再省一半。

MiniMax M3 (vLLM 2026-06-12)：MiniMax Sparse Attention（另一条稀疏路线）+ 1M context 深度优化。

TensorRT-LLM：RocketKV + DSA + Skip Softmax Attention 三种稀疏 attention 都进了核心库。

关键技术挑战

稀疏 attention 的 kernel 效率——稀疏理论上省算力，但 GPU 不擅长稀疏（cache miss、warp divergence）；需要 co-design 的 kernel
KV cache 布局——不同压缩率的层要在同一个内存池共存；vLLM 用"统一逻辑 block size"+"三种 page 桶"解决
模型质量——稀疏 attention 会不会降智？各家都在证明"loss-less" 但工业界还在观察

未来方向

Attention 走向 SSM-like 计算复杂度：Mamba/Jamba 那种线性复杂度 attention 会跟传统 attention 融合
Model-Engine Co-design：模型架构设计时就考虑推理引擎能不能高效服务
Hybrid model 主流化：Transformer + SSM + sliding window 混搭

主线四：异构硬件 & 硬件专用化

现状

推理开始从"NVIDIA 独占"变成"多硬件并存"：

AMD MI300X / MI355X：ROCm 生态越来越完善
NVIDIA B200 / B300 / GB300：主流 datacenter
Ascend NPU：AFD Plugin 支持
Intel Gaudi / XPU：AutoRound 量化 + vLLM-Omni
ARM CPU（Graviton / Ampere）：推理下沉到边缘/CPU
Groq LPU / Cerebras / SambaNova：专用 accelerator
TPU：Gemma 4 支持

代表工作

vLLM x TileRT（2026-07-14）：

vLLM 做 prefill，TileRT 做专用 low-latency decode。二者通过 V1 connector 集成，vLLM 变成可插拔的 serving 层。

AFD Plugin（2026-07-23）：

Attention 层跑 GPU，FFN 层跑 Ascend NPU。MoE 场景收益巨大——因为 MoE 的 FFN 才是大头，attention 相对轻。

Tencent HPC-Ops（2026-07-06）：H20 上的 attention + MoE 定制 kernel（H20 是国产合规版 H100，性能受限，必须靠软件优化）。

AMD 侧：

EAGLE-3 on MI300X：AMD Instinct 上的 speculative decoding
vime + ROCm：RL post-training 端到端跑 AMD

ARM CPU 优化（2026-07-29）：

AWS Graviton / Ampere 上跑 vLLM
小模型 / 边缘 / rerank 场景性价比爆炸

关键技术挑战

Kernel 定制成本：每个硬件需要自己的 attention/MoE kernel，工程量巨大
抽象层设计：如何让业务代码不感知底层硬件？vLLM 的 Model Runner V2 + Connector Interface 是当前最优解
性能可移植性：一个模型在不同硬件上都要跑好，需要多套优化路径

未来方向

硬件-模型-引擎三级 co-design：模型架构、硬件、推理引擎一起设计（比如 DeepSeek V4 就是给 B300 优化的）
推理向 CPU 全面下沉：小模型 / embedding / rerank 走 CPU 成为常态
异构调度自动化：请求进来自动选最优硬件路径（fin 讲的 GTC 2026 蓝图）

主线五：Speculative Decoding 进入 Parallel 时代

现状

一句话：从 autoregressive drafting 转向 parallel drafting。详见《Speculative Decoding 全家桶》。

2026 上半年三大关键突破

1. DFlash / DSpark / P-EAGLE 三大 parallel drafter（vLLM 2026-07-28）：

一次 forward 出 K 个 token（不像 EAGLE-3 要 K 次 forward）
Drafter 可以更大更强
K 不再敏感，运维简化

2. DSpark 的生产化（SGLang 2026-07-06）：

SGLang 侧的 DSpark 集成，重点解决大 batch 下的 verify 成本问题
Confidence-driven variable-length verification：每个请求的 verify 窗口不一样——高置信度请求 verify 6 个 token，低置信度只 verify 3 个
Ragged verify under full CUDA graphs：批内不同 verify 长度也能捕获成同一个 CUDA graph（front-pack + round to tier）
在 DeepSeek-V4-Pro B300 TP=8 batch=1 上跑到 383.7 tok/s（acc length ~5）

3. MTP (Multi-Token Prediction)（DeepSeek V3+/V4 / Kimi K3 都用）：

speculative 集成到模型预训练里——模型直接学多 token 预测
不需要单独训练 speculator
Day-0 支持成本极低

4. EAGLE 3.1（vLLM 2026-05-26）：

FC normalization + post-norm hidden-state feedback
与 TorchSpec 训练兼容
Config-driven，配置就能替换旧 EAGLE 3 checkpoint

关键技术挑战

Speculator 训练成本——每个模型要配套训 speculator；Speculators 项目试图标准化
大 batch 下 verify 成本——DSpark 的 confidence 方案就是攻这个
Ragged batch 的 CUDA graph——变长 batch 是所有优化的死敌，需要精细工程

未来方向

模型 pretrain 时就带 speculative（MTP 化）
speculative 走异构：drafter 跑小 GPU / CPU，verifier 跑大 GPU
多层 speculative：drafter → mid model → main model 层级 speculate

主线六：从"推理引擎"到"Agent Runtime"

现状

推理引擎正在变成 agent orchestration 平台。这跟 fin 讲的"agentic CPU 完全体"完全同步——agent 是推理时代的主要负载形式。

代表工作

vLLM Semantic Router 系列（贯穿 2026 全年）：

v0.3 Themis（2026-06-05）：Signal → Decision → Policy 三层可 inspect / 可 replay 的路由框架
Session-Aware Agentic Routing（2026-06-02）：长时 agent 的 session memory + 安全的模型切换边界 + prefix-cache-aware 切换定价
Fusion API（2026-06-16）：多模型协同 → judge 分析 agreement + gap → synthesize 单一答案
Micro-Agent（2026-06-29）：Confidence、Ratings、ReMoM、Fusion、Workflows 五种协作模式，把 vllm-sr/auto 变成 bounded micro-agent runtime
Multimodal Vision Hardening（2026-05-28）：视觉信号也纳入路由
Mixture-of-Models（2026-07-21）：把 SR 扩展成 MoM 构建平台

vLLM-Omni（多模态运行时）：

Qwen3-Omni：Thinker-Talker-Code2Wav 分阶段执行
TTS Inference：Qwen3-TTS、VoxCPM2、Higgs Audio V3、Fish Speech S2 Pro 生产级服务
VeRL-Omni：多模态 RL 训练与推理一体化

训推一体：

vime：连接 slime 训练栈 + vLLM rollout
Native RL APIs in vLLM：标准化 weight syncing、async RL serving（NCCL + CUDA IPC）
大规模 RL Rollout 直接用 vLLM 跑

关键技术挑战

Session 状态管理：agent 需要 long-lived state，与请求级 KV cache 冲突
模型切换成本：一个 agent flow 里可能调 10 个模型，切换代价（尤其 prefix cache 迁移）巨大
可观测性 & 可重放：agent debug 极难，需要 trace 每一步决策

未来方向

Agent 优先架构：推理引擎的第一优化对象是"agent workflow"而不是"单请求"
训推融合：agent 边跑边学，RLHF/DPO 变成常态化
模型编排即代码：SGLang DSL / vLLM SR YAML / Anthropic MCP → 未来会有事实标准

两条隐性主线

主线之外，还有两条隐性但同样重要的方向：

隐性主线 A：量化的深水区

FP16 → BF16 → FP8 → FP4 甚至 INT4 —— 量化持续下探。2026 年关键进展：

FP8 KV cache 成生产标配（vLLM 2026-04-22：Hopper/Blackwell 上全面验证）
NVFP4 快速普及（B300 上跑 GLM-5.2 就是 NVFP4）
TurboQuant KV cache 4-bit（vLLM 2026-05-11）：4-bit 有价值但精度略降，FP8 仍是默认
AutoRound + LLM Compressor：量化工具链趋于成熟

关键洞察：FP4 是当前商用极限，再低会破坏模型质量（除非跟模型 co-design）。DeepSeek V4 已经把 FP4 indexer 作为原生优化——量化不再只是压缩，是模型架构的一部分。

隐性主线 B：从"能跑"到"生产级"的工程投入

各家在CI / benchmark / release process 上的投入越来越大——vLLM Production Quality 那篇写了一整套：

多种加速器的 CI 矩阵
Nightly 性能 benchmark + accuracy 评测
两周一次发布节奏

开源推理引擎已经进入"操作系统级严肃度"——不再是学术界玩具，是每天承载数亿请求的生产系统。这个转变意味着未来的护城河不只是算法，还有运维成熟度。

三个引擎的立场差异 · 2026 版

到 2026 中，三大引擎的哲学分工更清晰了：

维度	vLLM	SGLang	TensorRT-LLM
定位	通用推理平台 / 生态中枢	高性能 + 前端 DSL	NVIDIA 硬件极致优化
社区	最活跃（150+ contributor）	精英开发者驱动	NVIDIA 官方主导
异构硬件	广（AMD/Intel/ARM/TPU）	中（AMD/CPU）	窄（仅 NVIDIA）
模型 Day-0 支持	最快（跟主流大模型 co-design）	快	稍慢（需要 build engine）
前端	OpenAI-compatible	自有 DSL + OpenAI	自有 API + OpenAI
agent runtime	Semantic Router 深度做	基础支持	无
企业支持	无（社区）	无（社区）	NVIDIA 官方

很多头部团队最后是"三个都装"：

vLLM 跑通用负载 + agent
SGLang 跑 DeepSeek/Kimi 等对 KV cache 敏感的
TensorRT-LLM 跑对 NVIDIA 硬件榨到极致的

站远看：推理引擎的下一个五年

把上面六条主线 + 两条隐性主线综合起来，能推出几个几乎必然的趋势：

1. 推理引擎会变成 LLM 的操作系统

不只服务"发一个 request 拿一个 response"，而是编排整个 agent workflow——就像 Linux 内核不只服务"跑一个进程"而是"编排整个用户空间"。

vLLM Semantic Router / SGLang PD Router 都在这个方向上走。未来 3 年会有事实标准出现——某个 API 会变成 LLM 世界的 POSIX。

2. Model-Engine-Hardware Co-design 成为常态

DeepSeek V4 已经是标杆——模型架构、推理引擎、硬件三者一起设计。未来所有头部大模型都会走这条路。闭源模型跟自家硬件绑定（GPT-x + 某类芯片）也会出现。

3. 训推边界继续消失

从 vime / VeRL-Omni / Native RL APIs 看，RL post-training 已经完全嵌入推理引擎。未来会有在线学习 / 持续 fine-tune 变成推理服务的常态特性。"部署"这个动作会消失——每次交互都是训练+推理的循环。

4. 异构会长期共存但收敛

短期看会有更多硬件玩家（LPU / TPU / NPU），但长期看会收敛到 3-4 家——头部推理引擎在架构层面留可插拔接口，各家硬件通过 plugin 存在。推理引擎变成"硬件中立层"，就像 Linux 之于 x86/ARM/RISC-V。

5. 上下文长度会稳态化，稀疏 attention 成主流

从 1M 再往上（10M / 100M context）性价比不划算——检索增强（RAG）远比长上下文便宜。但1M 会变成 baseline，所有生产模型都得支持。稀疏 attention（DSA / MSA / RocketKV）会成主流，纯 dense attention 只用于短请求。

6. Speculative Decoding 会从 opt-in 变成默认

跟 continuous batching 一样的路径——先是 opt-in feature，后是默认开启。MTP 会成为主流模型的架构级支持（不再是外挂 drafter），大 batch 场景下会自动 confidence-aware trimming。

最后一句

推理引擎正在成为 LLM 时代最有价值的开源基础设施。

十年前是 Kubernetes——所有云原生服务的编排层。今天是 vLLM/SGLang/TensorRT-LLM——所有 LLM 服务的推理层。

跟 K8s 一样，赢家会通吃——一个项目变成事实标准，所有人在它上面做发行版和应用。vLLM 大概率会是这个赢家，SGLang 会作为"技术精英选择"长期共存，TensorRT-LLM 会绑定 NVIDIA 硬件继续吃硬件溢价。

看清这个格局，比追每一个 blog 更重要。这就是为什么我要花几个凌晨读这么多 blog——不是为了理解技术细节，是为了看清方向。

附：素材来源（2026 上半年）

vLLM Blog（blog.vllm.ai）— 30+ 篇，本文主要引用：

Anatomy of vLLM（2025-09-05）
DeepSeek V4 Long-context Attention（2026-04-24）
FP8 KV Cache Validation（2026-04-22）
Mooncake Store Integration（2026-05-06）
Elastic Expert Parallelism（2026-05-14）
PegaFlow External KV（2026-05-18）
Semantic Router Themis v0.3 / Fusion / Mixture-of-Models（2026-06-05 / 06-16 / 07-21）
Micro-Agent Frontier Models（2026-06-29）
AFD Plugin（2026-07-23）
Kimi K3 Day-0 Support（2026-07-27）
Parallel Drafting Speculators（2026-07-28）
Optimizing vLLM on Arm CPUs（2026-07-29）

SGLang / LMSYS Blog（lmsys.org/blog）：

SGLang v0.1 RadixAttention（2024-01-17）
SGLang v0.4（2024-12-04）
DSpark in SGLang（2026-07-06）
Development Roadmap 2026 Q1 / Q2（GitHub Issue #12780 / #21703）

TensorRT-LLM Docs（nvidia.github.io/TensorRT-LLM）：

Helix Parallelism（P/D 分离）
KV Cache Connector Interface
Sparse Attention (RocketKV / DSA / Skip Softmax)

姊妹篇

整理于 2026-07-31。原文技术细节归属 vLLM、SGLang/LMSYS、TensorRT-LLM 团队。中文表达可能有解读偏差，请以原文为准。

推理引擎 2026 · 六条正在快速演进的技术主线

推理引擎 2026 · 六条正在快速演进的技术主线

开场：为什么 2026 是分水岭

主线一：P/D Disaggregation 从"探索"到"标配"

现状

代表工作

关键技术挑战

未来方向

主线二：KV Cache 分层与外部化

现状

代表工作

关键技术挑战

未来方向

主线三：Attention 机制的革命性重构

现状

代表工作

关键技术挑战

未来方向

主线四：异构硬件 & 硬件专用化

现状

代表工作

关键技术挑战

未来方向

主线五：Speculative Decoding 进入 Parallel 时代

现状

2026 上半年三大关键突破

关键技术挑战

未来方向

主线六：从"推理引擎"到"Agent Runtime"

现状

代表工作

关键技术挑战

未来方向

两条隐性主线

隐性主线 A：量化的深水区

隐性主线 B：从"能跑"到"生产级"的工程投入

三个引擎的立场差异 · 2026 版

站远看：推理引擎的下一个五年

1. 推理引擎会变成 LLM 的操作系统

2. Model-Engine-Hardware Co-design 成为常态

3. 训推边界继续消失

4. 异构会长期共存但收敛

5. 上下文长度会稳态化，稀疏 attention 成主流

6. Speculative Decoding 会从 opt-in 变成默认

最后一句

附：素材来源（2026 上半年）

评论