从 GPT-1 到 GPT-5：架构演进与 Scaling Law 复盘

前情说明：技术深度 D1。这是《大模型原理面试冲刺》系列第 2 篇。上一篇讲了 attention 这块地基，这篇往上一层——为什么是 Decoder-only 赢了，Scaling Law 究竟说了什么，以及"更大真的更好吗"。 这块内容面试频次极高，尤其是"你怎么理解 scaling law"这种开放题，能答出 Kaplan → Chinchilla → 推理侧修正三段论就已经甩开一半人。

---

为什么这篇要单独写

面试大模型岗，"你觉得 GPT 系列的关键突破在哪"、"scaling law 你怎么理解"、"为什么大家都用 decoder-only"这三个问题几乎必问一个。答不好显得没跟过技术演进，答太散又显得没主线。

这篇给你一条能背下来的主线：

• 三种 Transformer 变体（Encoder-only / Decoder-only / Encoder-Decoder）为什么最后是 Decoder-only 独大
• GPT-1 到 GPT-5 每一代真正的关键创新是什么，别背错
• Kaplan（2020）→ Chinchilla（2022）→ 推理侧修正（2024+）三段论
• Emergent Abilities 争论：涌现是真的还是错觉

写完这篇你应该能撑住 15 分钟的开放式聊天而不露怯。

---

一、三种 Transformer 变体：为什么 Decoder-only 赢了

Attention Is All You Need（2017）原论文提的是Encoder-Decoder 架构，做机器翻译。后来分裂成三条路：

变体	代表	训练目标	特点
Encoder-only	BERT (2018)	Masked LM（完形填空）	双向 attention，擅长理解，不能生成
Decoder-only	GPT (2018-)	Next Token Prediction	单向 attention（causal），能生成
Encoder-Decoder	T5 (2019), BART	span corruption / seq2seq	双阶段，适合翻译/摘要

2018-2020 那几年这三条路是打得难分难解的。BERT 在 NLU 基准上碾压一切，T5 用 encoder-decoder 拿了很多 SOTA，GPT 一开始只是个"能生成但不够聪明"的东西。

转折点是 GPT-3（2020）。它证明了一件事：当模型足够大 + 数据足够多，Decoder-only 的 next-token prediction 就能同时学会理解和生成——不需要预训练目标的花活。而且因为架构统一（只有一个 stack），scaling 起来最简单：不用平衡 encoder/decoder 的容量，不用设计 span corruption 的策略，加参数就行。

后续几年，encoder-only 沦为"embedding 模型的专属架构"，encoder-decoder 只在特定翻译场景残留，剩下的大模型清一色 decoder-only。

面试如果问"为什么 decoder-only 赢了"，你要说三点：

1. 训练目标统一（next token），无需设计 pretext task
2. 架构统一（一个 stack），scaling 简单
3. 生成 + 理解一体化，一个模型解决所有下游任务

---

二、GPT 每一代真正的创新点

面试爱问"你觉得 GPT-X 相比 GPT-(X-1) 最大的突破是什么"。这题背错会显得很业余，我给你一个不会被反驳的版本：

GPT-1（2018，1.17 亿参数）

关键词：Pretrain + Finetune 范式

真正的创新不是 Transformer（那是 Google 的），而是**"大规模无监督预训练 + 有监督微调"**这个范式。之前每个 NLP 任务都要从头训练，GPT-1 证明了一个通用预训练模型微调一下就能打各任务的 SOTA。

GPT-2（2019，15 亿参数）

关键词：Zero-shot 能力涌现的雏形

架构上没大改，但规模 × 10。第一次展示了"不微调也能做下游任务"的能力（虽然效果一般）。这是"prompting"这条路的起点。OpenAI 一开始还以"太危险"为由不放开源，事后看更像营销。

GPT-3（2020，1750 亿参数）

关键词：In-Context Learning + Few-shot

参数量再 × 100。真正的突破是In-Context Learning：在 prompt 里给几个例子（few-shot），模型就能"学会"新任务，完全不需要梯度更新。这是范式转变——从 finetune 到 prompt。

同期 Kaplan 团队发了 Scaling Law 论文（下一节讲），奠定了"更大就是更好"的信仰。

GPT-3.5 / InstructGPT（2022）

关键词：RLHF 对齐

架构不动，方法论革新——Instruction Tuning + RLHF。让模型从"能生成"变成"能听话"。ChatGPT 就是这一代的产物。RLHF 的细节我在第 3 篇《对齐三部曲》里展开。

GPT-4（2023，参数量未公开）

关键词：多模态 + MoE（推测）+ 推理能力

OpenAI 不公开细节了。业界公认的推测：~1.8T 参数的 MoE 结构，8×220B。多模态（视觉输入）首次成为一等公民。GSM8K / MATH 类推理任务大幅提升，但也第一次展示了"scaling 收益开始递减"的迹象。

GPT-4o / o1 系列（2024）

关键词：Test-Time Compute + 推理链

GPT-4o 主线是延迟和多模态融合（一个模型同时处理文/图/语音）。o1 是分水岭：从"scale 训练算力"转向"scale 推理算力"——通过思维链搜索让模型在推理时多花 token 思考。这标志着 pretrain scaling law 已经 hit wall，重心转向 post-training 和 inference-time compute。

GPT-5（2025）

关键词：Unified Reasoning + Tool Use

把 o1 的推理能力和 GPT-4o 的多模态融进一个统一模型，工具调用（浏览器、代码解释器）成为原生能力而不是插件。Pretrain scaling 基本停滞——GPT-5 参数量业界估计和 GPT-4 一个量级，主要提升来自数据质量、post-training 和 inference-time compute。

---

三、Scaling Law 三段论：Kaplan → Chinchilla → 推理侧修正

这是面试最容易被追问的题。三段论按时间顺序讲：

3.1 Kaplan（2020）：更大模型更好

OpenAI 的 Kaplan 团队发了篇 Scaling Laws for Neural Language Models，核心发现：

Loss 和三个变量（参数量 N、数据量 D、算力 C）呈幂律关系。

给定固定算力预算 C，最优分配大致是：

• 参数量 N ∝ C^0.73
• 数据量 D ∝ C^0.27

结论：算力主要花在扩大模型上，数据量按比例小幅增加就够了。

这直接推动了 GPT-3（1750 亿）、Gopher（2800 亿）、Megatron-Turing（5300 亿）的军备竞赛。所有人都在堆参数，数据量相对没跟上。

3.2 Chinchilla（2022）：数据被严重低估

两年后 DeepMind 发 Chinchilla 论文，直接打脸 Kaplan：

在相同算力下，参数量和数据量应该 1:1 增长（都 ∝ C^0.5）。

他们用 700 亿参数 + 1.4T tokens 训了 Chinchilla，全面碾压 2800 亿参数的 Gopher。得出的"最优比例"是：

每个参数对应约 20 个 training tokens

用这个尺子回头看，GPT-3、Gopher 这些巨型模型都是严重 under-trained——参数太多，数据太少。整个业界瞬间掉头去补数据。

为什么 Kaplan 错了：他们在小模型上做实验，学习率调度不够长，导致大模型 under-train 的现象被外推错了。

面试锚点：Chinchilla 的 "20 tokens per parameter" 是一个必背数字。但要补一句——这是训练阶段最优的比例，不考虑推理成本。

3.3 推理侧修正（2024+）：Over-training 才是王道

Chinchilla 是从训练算力最优的角度算的。但真实世界里，一个模型训好之后要服务几亿用户几年——推理成本 >> 训练成本。

从推理角度，你应该：

• 更小的参数 + 更多的数据（over-train，故意训到 Chinchilla 最优比例的几倍）
• 因为参数小意味着推理便宜，即使训练稍微亏一点也划算

Llama-2/3、Qwen、DeepSeek 都是这个路子。Llama-3-8B 用了 15T tokens 训练——按 Chinchilla 只需要 160B tokens，它 over-train 了 90 倍。效果是这个 8B 模型在很多任务上打赢了老一代的 70B。

这一段论的完整答法：

Kaplan 2020 说参数比数据重要 → Chinchilla 2022 修正为 1:1 平衡 → 但真实世界推理成本主导，所以现在的实践是 over-train 小模型，牺牲训练最优换推理便宜。GPT-5 参数没大变主要提升靠 post-training 和 inference-time compute，也印证了 pretrain scaling 的边际收益在下降。

能答到这个深度，面试官会给你加分。

---

四、Emergent Abilities：真涌现还是错觉？

2022 年 Google 发了篇著名论文 Emergent Abilities of Large Language Models，主张：

某些能力（数学、多步推理、指令理解）在模型达到某个临界规模前完全没有，超过临界点后突然出现。

这个"涌现"现象曾经是"Scaling Is All You Need" 信仰的核心证据。

但 2023 年 Stanford 的反驳论文 Are Emergent Abilities a Mirage? 泼了冷水：

涌现是评估指标选得不好造成的错觉。用连续指标（如 log-prob），能力提升是平滑的。用离散指标（如 exact match、通过率），才看起来像"突然出现"。

面试要有立场。我的答法：

早期认为的"涌现"很多是评估 metric 造成的假象——用离散通过率会看起来突变，用 log-probability 会看到平滑上升。但也不能全否定，某些能力（比如复杂 CoT 推理）在小模型上确实完全跑不通，这不是 metric 问题。结论：涌现是真实的但被夸大了，从工程角度不要押注"再大一点就会突然会某个能力"。

---

五、架构上的其他细节演进

除了 scaling，架构本身也有一些持续演进值得知道。面试如果被追问细节，随便拿两个抛出来就够：

• Layer Norm 从 Post-LN 换到 Pre-LN：训练更稳定，深模型不用 warmup 也能收敛
• Absolute PE 换到 Rotary PE（RoPE）：LLaMA、GPT-NeoX 之后成为标配，支持长上下文外推（第 7 篇会展开）
• 激活函数 ReLU/GeLU 换到 SwiGLU：LLaMA 之后成为标配，效果稍好，参数量多 50%（GLU 的代价）
• MHA 换到 GQA/MQA：主要为了推理省 KV Cache，Llama-2 之后大部分模型都用 GQA
• 稠密 FFN 换到 MoE：DeepSeek/Mixtral/Qwen3 都是 MoE，用少量激活参数撬动大总参数量（我这个博客的《MoE 推理完整机制》专门讲这个）

这些改进单独看每个都是 1-3% 的收益，叠加起来就是"新一代模型比老一代强"的主因之一。

---

面试锚点：高频问题

Q1: 为什么现在的大模型都是 decoder-only？

A: 三个原因：(1) 训练目标统一（next-token prediction），不用设计 pretext；(2) 架构统一（单 stack），scaling 简单；(3) 生成 + 理解一体化，一个模型解决所有下游任务。GPT-3 之后 encoder-decoder 基本被淘汰。

Q2: 讲讲你对 Scaling Law 的理解。

A: 三段论。Kaplan 2020 说"更大更好"，参数应该占算力的 73%；Chinchilla 2022 修正为参数和数据 1:1，每参数对应 20 tokens；2024+ 因为推理成本主导，实践是 over-train 小模型（Llama-3-8B 用了 15T tokens，是 Chinchilla 最优的 90 倍）。目前 pretrain scaling 收益递减，重心转向 post-training 和 inference-time compute。

Q3: Chinchilla 的 20:1 是什么意思？

A: 训练最优情况下，每 1 个模型参数对应 20 个训练 tokens。用来倒推：一个 70B 模型的 Chinchilla-optimal 训练量是 1.4T tokens。但这只是训练最优，不是推理最优。

Q4: 什么是 In-Context Learning？为什么它重要？

A: 在 prompt 里给几个 (input, output) 示例，模型不做梯度更新就能"学会"新任务。GPT-3 首次系统展示这个能力。它把 NLP 从"每任务 finetune"变成"一个模型 + prompt"，是 prompt engineering 这条产业链的起点。

Q5: Emergent Abilities 是真的吗？

A: 部分真部分假。用离散通过率作为 metric 会看起来"突然涌现"，但换成连续指标（log-prob）会看到平滑上升——很多"涌现"是评估 metric 造成的错觉。但也有一些能力（比如复杂多步推理）在小模型上确实完全跑不通，这不是 metric 问题。所以现在业界的共识是"涌现是真实的但被夸大了"。

Q6（进阶）: GPT-4 和 GPT-5 到底强在哪，不是应该 scaling law 继续吗？

A: Pretrain scaling 已经明显边际递减，GPT-5 参数量业界估计和 GPT-4 是一个量级。真正的提升来自三块：(1) 数据质量（合成数据 + 严格过滤）；(2) Post-training（RLHF + Constitutional AI + 各种 preference optimization）；(3) Inference-time compute（o1 系列的思维链搜索）。这也是为什么 test-time compute 现在是研究热点——训练侧已经压榨得差不多了。

Q7（进阶）: Post-LN vs Pre-LN 有什么区别，为什么现在都用 Pre-LN？

A: 原始 Transformer 是 Post-LN（Norm 在 residual 之后）。深模型训练不稳定，需要 warmup 才能收敛。Pre-LN 把 Norm 放到每个子模块的输入端，梯度流动更平滑，能训更深的模型且不用 warmup。LLaMA/GPT-NeoX 之后 Pre-LN 成标配。代价是效果理论上略差（有 paper 讨论过），但训练稳定性远远压过这个损失。

---

一句话记住这一篇

GPT 系列的胜利不是架构的胜利（Transformer 是 Google 的），是"decoder-only + next token prediction + 大规模"这套 recipe 的胜利。Scaling Law 从 Kaplan 到 Chinchilla 到 over-training 三段演变，本质是训练最优向推理最优的迁移。现在的行业共识：pretrain 已经 hit wall，未来靠 post-training 和 test-time compute。

---

系列下一篇：《对齐三部曲：SFT → RLHF → DPO》——PPO 里那些 loss 到底在优化什么，DPO 为什么能绕开 reward model，Constitutional AI 又是什么路子。