vLLM 三年演进史：从 PagedAttention 到 AFD Plugin

前情说明：这是"读源整理"系列的第 4 篇，前几篇讲了 vLLM 的当前实现、跟 SGLang 的对比、以及 RadixAttention 的深潜。这一篇换个视角——沿着时间轴看 vLLM 三年是怎么长大的，每一个大版本解决了什么问题、跟同期的行业需求是什么关系。素材来自 vLLM 官方博客 blog.vllm.ai 上的所有 major release / feature blog + GitHub release notes 的公开信息。

起手：为什么要看演进史

一个开源项目在三年里从"一个 SOSP 论文的实现"变成"整个行业的推理引擎参考实现"——这背后不是靠天赋，是靠跟需求的错位赛跑：

需求变了：从纯 chat → 多轮 chat → agent → reasoning → multimodal → 万亿参数 MoE
硬件变了：从 A100 → H100 → H200 → B200 → GB200 / GB300 → Rubin
workload 变了：从单 prompt → tool call → function call → structured output → speculative → disaggregated

每一次变化都在给 vLLM 提新要求。看它怎么一步步接住这些要求，能看清整个 LLM Serving 领域的方向。

阶段一：2023 · 出生 —— PagedAttention 一战成名

2023 年 6 月：vLLM v0.1

第一个版本发布，来自 UC Berkeley Sky Computing Lab。核心贡献只有一个——PagedAttention。

背景：2023 年上半年 ChatGPT 已经爆火，LLM 推理需求从"研究者玩玩"变成"生产级压力"。HuggingFace 的 transformers 库跑推理巨慢，因为：

KV cache 预分配：每个 request 预留 max_seq_len 的连续显存 → 用不完也占着
无 batching：一个 request 一次 forward → GPU 大量空转
无内存复用：request 完成后 KV 直接丢 → 下一个再算

vLLM 一次性解决了这三个：

PagedAttention：把 KV 分页 → 内存利用率从 60% 提到 95%+
Continuous Batching：所有 request 展平成一条 super sequence，动态加入退出
Custom CUDA kernel：paged attention kernel 让分页不影响算力效率

发表：SOSP'23 论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》—— 成为整个行业的 canonical 方案。

至今为止（2026-07），几乎所有主流推理引擎都在用 PagedAttention 或它的变种。TGI、SGLang、TensorRT-LLM、Ray Serve 全都借鉴了。这是 vLLM 最重要的历史贡献，仅此一项就能让它进 AI Infra 名人堂。

阶段二：2024 · 快速迭代 —— 补齐特性、走向生产

2024 年上半年：Prefix Caching + Structured Outputs

vLLM v0.4 前后加入了 prefix caching（默认开启）。逻辑跟 SGLang 的 RadixAttention 类似但实现不同：

用 hash map 而不是 radix tree
前缀必须对齐 block 边界（16 token）
用 block hash 组合 chain 表达"这个 block 依赖前面的 block"

为什么这个时间点做？ 因为 chat workload 崛起——ChatGPT/Claude API 大量使用同 system prompt，prefix caching 是刚需。

同期还加了 guided decoding（用 outlines / xgrammar 做 FSM 约束），支持 JSON schema 输出——Function Calling / OpenAI JSON Mode 的底层实现就是这个。

2024 年下半年：Speculative Decoding

vLLM 引入 n-gram / EAGLE / Medusa 三种 speculative decoding drafter。

为什么这个时间点？ 因为 GPT-4 Turbo、Claude 3 都在压 decode 延迟。Decode 阶段的带宽墙成了行业公敌，speculative decoding 是最直接的破局工具。

vLLM 的选择很务实——不做独立小 draft model（比如 Llama 7B + Llama 70B 那种），而是用轻量方案：

n-gram：从当前 prompt 里搜历史匹配窗口，零训练成本
EAGLE：大模型"外科手术"，保留 embedding + LM head，中间替换成 lightweight MLP
Medusa：加多个辅助 LM head 并行预测

这些方案 forward 一次就能出多个 token，acceptance rate 60-80%，落地代价极小。

2024 年 12 月：SGLang v0.4 发布

严格说这是竞品事件，但对 vLLM 产生了直接压力。SGLang v0.4 一次性推出：

Zero-overhead scheduler（1.1x）
Cache-aware router（1.9x）
DP Attention for DeepSeek（1.9x）
xgrammar 结构化输出（10x）

这一波直接催生了 vLLM V1 的重构决心——V0 的架构已经追不上竞品的迭代速度。

阶段三：2025 · V1 大重构

2025 年上半年：V1 引擎首次亮相

vLLM V1 是从头重构的引擎，V0 逐步 deprecate（GitHub Issue #18571）。V1 相比 V0 的关键改进：

特性	V0	V1
Prefill/Decode 混合	❌ 只能一步纯 prefill 或纯 decode	✅ 可以混跑
Async engine	简单包装	原生异步
多进程模型	单进程	MultiProcExecutor
DP 支持	基础	DPLBAsyncMPClient 完整方案
Preemption	Swap-based	Recompute-based
KV cache manager	单层	支持 hybrid（sliding window / SSM）

V1 的核心哲学转变——从"一个大 Python 进程管一切"变成"每层 concern 独立组件通过 asyncio + shared memory + ZMQ 通信"。这个架构一直用到今天。

2025 年 9 月：Anatomy of vLLM 长文

vLLM core contributor Aleksa Gordic 写了那篇 41 分钟的《Inside vLLM》，把整个 V1 架构完整开源公开。这是 vLLM 走向"参考实现"地位的标志性事件——不只是能用，而是任何人都能读懂、可以贡献。

阶段四：2026 上半年 · 走向生产级、走向异构

进入 2026，vLLM 的 blog 主题明显换了——不再讲基础机制，而是讲如何在生产上榨干性能。看它的月度 blog 就知道行业焦点在哪里：

2026-06：DiffusionGemma —— 支持首个原生 diffusion LLM

vLLM 加入对**扩散语言模型（dLLM）**的支持。DiffusionGemma 是 Google 的实验模型——输出不是自回归 token by token，而是像图像扩散一样迭代去噪。

技术难点：

Attention 是双向的（不是 causal）
输出不是逐 token，是整段并行迭代
复用了 speculative decoding 的 verify 路径

信号：LLM 推理引擎不再只服务 transformer decoder——扩散、SSM (Mamba/Jamba)、混合架构都要能跑。V1 的 Model Runner V2 抽象层就是为此设计的。

2026-06：vime + ROCm —— RL Post-training 走进推理引擎

vLLM 团队发布 vime —— 一个 RL 后训练框架，跟 slime 训练栈 + vLLM rollout 集成。

这条线的意义：RLHF / DPO / GRPO 需要大规模 rollout。传统上训练团队自己搭 rollout infra；现在直接用 vLLM 做——训练和推理边界模糊。

同期支持 AMD Instinct MI355X + ROCm 端到端——非 NVIDIA 硬件的支持力度在加大。

2026-07-14：vLLM × TileRT —— 专用 decode 引擎共存

vLLM 提供 prefill，TileRT 提供极致 low-latency decode。二者通过 V1 的 connector interface 集成——vLLM 变成一个可插拔的 serving 层。

架构意义：vLLM 正在从"single all-in-one engine" 变成"the serving layer that others plug into"。就像 Linux kernel 之于各种发行版——vLLM 变成了 LLM Serving 的操作系统内核。

2026-07-21：vLLM Semantic Router —— Mixture-of-Models

vLLM Semantic Router 从"智能路由"扩展成"Mixture-of-Models 构建平台"——可以在多个模型之间做路由、评估、组合。

Micro-Agent 那篇（06-29） 讲的更彻底：把 vLLM Router 变成 bounded micro-agent runtime，支持 Confidence / Ratings / ReMoM / Fusion / Workflows。

信号：vLLM 在从推理引擎向 agent runtime 演进。跟 fin 讲的"agentic CPU 完全体"完全同步——agent 时代，推理引擎不再只服务单一模型请求，而是要编排一整套模型协作。

2026-07-23：AFD Plugin —— Attention-FFN Disaggregation

这个可能是 2026 年最重要的架构升级。Attention 层和 FFN 层跑在不同硬件上：

Attention 层  →  GPU (HBM-bound, KV cache 巨大)
FFN 层        →  Ascend NPU / LPU (compute-heavy, weights 可以放 SRAM)

对 MoE 模型意义特别大——MoE 的 FFN 是主导开销，attention 只占一小部分。分开跑：

Attention 用高带宽 GPU
FFN 走专用 accelerator（Ascend / Groq LPU / Cerebras）

这就是 fin 讲的"GTC 2026 异构推理时代"的 vLLM 侧实现。Nvidia 的 CPX + Rubin + LPU 硬件方案 = vLLM 的 AFD Plugin 软件抽象。软硬件互相定义。

2026-07-27：Kimi K3 Day-0 Support

Moonshot 的 Kimi K3 发布当天 vLLM 就有生产级支持——KDA 前缀缓存、DSpark speculative decoding、production-scale disaggregation、NVIDIA + AMD 双路径全部齐活。

信号：头部模型公司和 vLLM 已经形成 co-design 关系——模型架构设计的时候就考虑 vLLM 能不能高效服务，vLLM 也 day-0 支持每一个头部新模型。这种深度绑定是竞品短期内很难追赶的。

2026-07-28：Parallel Drafting —— Speculators 项目

vLLM 联合 RedHatAI 发布 Speculators 项目——统一训练/评估 speculative decoding 模型的生态。同时推出三个 SOTA 并行草稿算法：P-EAGLE / DFlash / DSpark。

关键突破：从 auto-regressive drafting 转向 parallel drafting——一次 forward 出 K 个 token 而不是 K 次 forward 出 K 个。彻底摆脱 speculation length 的 tuning 麻烦。

（详见下一篇文章）

2026-07-29：Optimizing vLLM on Arm CPUs

刚刚（前两天）发布——vLLM 在 ARM CPU 上的性能优化。

为什么重要？ 因为推理开始向 CPU 溢出——不是所有推理都要 H100。小模型、边缘、嵌入生成、rerank 这些 workload 用 ARM CPU（Graviton / Ampere）性价比高得多。vLLM 支持 ARM 意味着 AWS/GCP 上 CPU-only 推理成为主流选项。

三年时间轴汇总

2023-06  ┃  v0.1 · PagedAttention 首发（SOSP'23 论文）
         ┃  Continuous batching + Custom CUDA kernel
         ┃
2024-Q1  ┃  Prefix caching（默认开启）
         ┃  Guided decoding (outlines / xgrammar)
         ┃
2024-Q3  ┃  Speculative decoding (n-gram / EAGLE / Medusa)
         ┃  多 GPU 完整支持
         ┃
2024-12  ┃  SGLang v0.4 竞品压力
         ┃
2025-Q1  ┃  V1 引擎首次发布
         ┃  V0 逐步 deprecate
         ┃
2025-09  ┃  《Inside vLLM》41min 长文 → 参考实现地位确立
         ┃
2026-Q2  ┃  vime (RL post-training) + ROCm (AMD)
         ┃  DiffusionGemma (非 transformer 架构支持)
         ┃  Semantic Router · Mixture-of-Models
         ┃
2026-Q3  ┃  AFD Plugin (Attention-FFN 分离)
         ┃  TileRT 集成 (专用 decode)
         ┃  Parallel Drafting (P-EAGLE / DFlash / DSpark)
         ┃  ARM CPU 优化
         ┃  Kimi K3 / GLM-5.2 / Nemotron 3 Ultra day-0

三个演进主线

如果只能拉出三条线来讲 vLLM 三年演进：

主线一：内存管理越切越细

2023: 一整个 request 独占连续 VRAM
    ↓
2023: PagedAttention 把 request 切成 block
    ↓
2024: Prefix caching 让 block 跨 request 共享
    ↓
2025: Disaggregated P/D 让 KV 跨机器共享
    ↓
2026: AFD Plugin 让 attention 和 FFN 走不同设备

KV cache 的所有权粒度越来越细——从 request → block → prefix → cross-node → per-layer。这跟 fin 讲的"HBM 是宿命"完全一致——每一步细化都是为了更好地服务 HBM 带宽。

主线二：调度越来越 agent-aware

2023: FCFS scheduler，纯 token generator 视角
    ↓
2024: Priority queue + preemption
    ↓
2025: Continuous batching V1 · prefill/decode 混跑
    ↓
2026: Semantic Router · Mixture-of-Models · Micro-Agent runtime

Scheduler 从"排队叫号"变成"orchestrator"。vLLM 越来越像一个"给 LLM app 的操作系统"——调度的不只是 request，是整个 agent workflow。

主线三：生态从"单引擎"变"参考实现"

2023: 一个 Python 包
    ↓
2024: 支持多硬件、多模型、多解码方法
    ↓
2025: V1 抽象层 + connector interface
    ↓
2026: 变成 the serving layer that others plug into

Model 公司 day-0 集成、硬件厂商 co-design、上下游生态围绕它建。这不是靠营销，是靠架构层面留出足够多的可插拔接口——connector、model runner V2、plugin 系统。开放性本身就是竞争力。

尾声：LLM Serving 的下一个五年

站在 2026 年中往前看三年，能推出几个几乎必然的趋势：

异构推理系统化：Attention 走 GPU、FFN 走 LPU/SRAM、Prefill 走高算力卡、Decode 走高带宽卡——每一层都被单独优化。AFD Plugin 是开端。
推理引擎变 agent runtime：不再只服务单模型请求，而是编排整个 agent 工作流。Semantic Router / Micro-Agent 是原型。
训练和推理边界消失：vime 已经把 RL rollout 拉进推理栈。未来在线学习 / 持续微调都会用同一个引擎跑。
CPU/ARM 崛起：小模型 / 边缘 / rerank / embedding 走 CPU 会成为标准。ARM CPU 优化只是开始。
Model-Engine co-design 深化：新模型架构设计时就会考虑 vLLM 兼容性；vLLM 也会 day-0 支持每个 SOTA 新模型。这种绑定是护城河。

vLLM 会一直是这个演进的中心吗？大概率是——除非出现另一个数量级差异的新数据结构（就像 PagedAttention 之于传统内存管理），否则它的先发优势 + 生态卡位很难被颠覆。

这也是开源基础设施最健康的状态——一个项目变成整个行业的操作系统内核，其他人在它之上做发行版和应用。

附：素材来源

主要来源

vLLM Blog 列表：blog.vllm.ai
vLLM GitHub Releases：github.com/vllm-project/vllm

关键 blog 时间轴

2025-09-05 · Inside vLLM: Anatomy
2026-06-10 · DiffusionGemma
2026-06-29 · Micro-Agent Frontier
2026-07-14 · vLLM × TileRT
2026-07-21 · Semantic Router Mixture-of-Models
2026-07-23 · AFD Plugin
2026-07-27 · Kimi K3
2026-07-28 · Parallel Drafting Speculators
2026-07-29 · Optimizing vLLM on Arm CPUs

姊妹篇

整理于 2026-07-31。原文技术细节归属 vLLM 团队。中文表达可能有解读偏差，请以原文为准。

vLLM 三年演进史：从 PagedAttention 到 AFD Plugin

vLLM 三年演进史：从 PagedAttention 到 AFD Plugin

起手：为什么要看演进史

阶段一：2023 · 出生 —— PagedAttention 一战成名

2023 年 6 月：vLLM v0.1

阶段二：2024 · 快速迭代 —— 补齐特性、走向生产

2024 年上半年：Prefix Caching + Structured Outputs

2024 年下半年：Speculative Decoding

2024 年 12 月：SGLang v0.4 发布

阶段三：2025 · V1 大重构

2025 年上半年：V1 引擎首次亮相

2025 年 9 月：Anatomy of vLLM 长文

阶段四：2026 上半年 · 走向生产级、走向异构

2026-06：DiffusionGemma —— 支持首个原生 diffusion LLM

2026-06：vime + ROCm —— RL Post-training 走进推理引擎

2026-07-14：vLLM × TileRT —— 专用 decode 引擎共存

2026-07-21：vLLM Semantic Router —— Mixture-of-Models

2026-07-23：AFD Plugin —— Attention-FFN Disaggregation

2026-07-27：Kimi K3 Day-0 Support

2026-07-28：Parallel Drafting —— Speculators 项目

2026-07-29：Optimizing vLLM on Arm CPUs

三年时间轴汇总

三个演进主线

主线一：内存管理越切越细

主线二：调度越来越 agent-aware

主线三：生态从"单引擎"变"参考实现"

尾声：LLM Serving 的下一个五年

附：素材来源

评论