外观
阅读路径
一句话定位：论文阅读不是"读得多"，而是"路径对"——先选定你的主线，再决定读哪几篇、读到多深。本文把本栏目覆盖的论文编排成五条主题路线，每条都给出阅读顺序与"读完能回答什么"的检验标准。
一、为什么要按路径读：论文海洋需要导航
先看一组数字：arXiv 上仅 cs.LG（机器学习）一个分区每年新增论文就超过两万篇，加上 cs.CL（NLP）、cs.CV（视觉）、cs.AI，每天都有上百篇新论文上线。在这个规模面前有两个残酷事实：
- 没有人读得完。 顶尖研究者每周也最多精读三五篇，其余全靠标题与摘要筛选。
- 不筛选就是灾难。 论文质量极不均匀：有改变范式的奠基之作，有工程调参报告，也有注水工作。不加选择地读，三个月后你会得到一堆碎片，却说不出领域的骨架。
这就是"路径"存在的意义。路径 = 目标 + 顺序 + 检验标准：
没有路径: 今天刷到一篇扩散 → 明天读一篇 Agent → 三个月后:
什么都见过，什么都说不出所以然
有路径: 先定主线（大模型？生成？工程？对齐？）
→ 按编排顺序读（每篇承接上一篇）
→ 用检验标准自测（能不能回答那几个问题）
→ 三个月后: 形成一张有结构的主题地图按路径读，每一篇都不是孤立文件，而是地图上的一个节点——上一篇提出的问题，正好由下一篇回答。这种"知识节点互相咬合"的效应会让你的理解产生复利。本站配套页面会帮你走完每一步：论文地图 提供宏观坐标系，经典论文精读 提供逐段显微镜，前沿进展 提供动态雷达。
二、五条路线总览
按当前 AI 热门概念的四大主干（大模型、生成式 AI、应用工程、对齐安全）外加一条"少而精"保底路线：
| 路线 | 主题 | 篇数 | 时间预算 | 适合人群 |
|---|---|---|---|---|
| 路线一 大模型主线 | Transformer → BERT → GPT-3 → InstructGPT → Llama | 4 + 1 可选 | 泛读 1 周 / 精读 2 周 | 所有人，理解"语言智能从哪来" |
| 路线二 生成式 AI 主线 | GAN → DDPM → LDM → DiT / Sora 报告 | 3 + 2 可选 | 泛读 1 周 | 对图像/视频生成感兴趣者 |
| 路线三 应用工程主线 | RAG → ReAct → LoRA → GraphRAG | 3 + 1 可选 | 泛读 4–5 天 | 工程师、想落地业务的人 |
| 路线四 对齐与安全主线 | InstructGPT → Constitutional AI → DPO | 3 | 泛读 3–4 天 | 关注可信 AI、求职大模型岗者 |
| 路线五 少而精 | Attention + GPT-3 + RAG + LoRA + DDPM | 5 | 每篇 1–2 小时 | 时间紧张、只要一个最小完备集 |
路线可以叠加，不必二选一
五条路线不是"五选一"。路线五是所有人的地基——五篇读完就有全局感；路线一与路线三是工程师的标配；路线四是研究对齐方向者的主干。建议顺序：先走路线五建立信心，再按目标进入其他主线。
三、路线一：大模型主线
目标：理解"大语言模型为什么能行"的完整因果链——从注意力机制、预训练范式、规模法则，到对齐调教与开源复现。
论文清单与演进逻辑
| 顺序 | 论文（作者, 年份） | 一句话贡献 | 它解决了上一篇的什么问题 |
|---|---|---|---|
| 1 | Attention Is All You Need（Vaswani et al., 2017） | 用自注意力替代 RNN，提出 Transformer | 解决 RNN 无法并行、长程依赖衰减的问题 |
| 2 | BERT（Devlin et al., 2018） | 双向 Transformer + 掩码语言模型（MLM） | 解决"如何利用海量无标注文本做预训练" |
| 3 | GPT-3（Brown et al., 2020） | 1750 亿参数，展示上下文学习（in-context learning） | 解决"下游任务仍需微调"——规模大了直接少样本就能干 |
| 4 | InstructGPT（Ouyang et al., 2022） | 用 RLHF 让模型"听懂人话、说人话" | 解决"预训练模型能力强但不听话"——对齐 |
| 5（可选） | Llama（Touvron et al., 2023） | 开源复现大模型基座，规模 7B–65B | 解决"前沿模型闭源、无法研究"——开源生态起点 |
阅读顺序建议
- 第 1 篇 Attention：读摘要、图 1（编码器-解码器结构）、3.2 节多头注意力公式。配合 Jay Alammar 的 The Illustrated Transformer 图解（见文末参考资料）。这周只抓一个机制：Q/K/V 注意力为何能并行捕捉长程依赖。
- 第 2 篇 BERT：读摘要、MLM 与 NSP 两个预训练任务、实验表。抓住一句话：用海量文本做"填空"获得通用表示，再微调适配下游。
- 第 3 篇 GPT-3：读摘要、第 3 节 few-shot 设定、规模曲线。接受一个直觉：参数量 × 数据量 × 算力，是语言智能的三个旋钮。
- 第 4 篇 InstructGPT：读摘要与 3.1 节的 RLHF 三阶段示意。抓住：先监督微调、再奖励模型、最后强化学习优化。
- 第 5 篇 Llama（可选）：只需读摘要与训练细节（数据配比、预训练设置），了解"开源大模型如何练成"。
读完检验标准
读完这四条（或五条）后，你应该能不看笔记回答： ① 为什么 Transformer 比 RNN 更适合长文本？（并行 + 直接建模任意距离依赖） ② BERT 与 GPT 的预训练目标本质差别是什么？（双向填词 vs 从左到右预测下一个词） ③ 什么是上下文学习？为什么 GPT-3 之前"少样本涌现"不被期待？（in-context learning 的定义与规模效应） ④ RLHF 三个阶段的顺序与各自作用？（SFT → 奖励模型 → PPO 优化）
答不全的，回到对应论文重读该节；全部能答，说明这条主线的骨架已经长在你脑子里了。
配合站点资源
这条主线的机制详解见Transformer 与注意力机制、大语言模型；产品侧看ChatGPT 与对话式 AI理解 InstructGPT 如何变成产品。
四、路线二：生成式 AI 主线
目标：理解"机器如何从零创造图像/视频"——从对抗博弈到去噪扩散，再到潜在空间与视频生成。
论文清单与演进逻辑
| 顺序 | 论文（作者, 年份） | 一句话贡献 | 它解决了上一篇的什么问题 |
|---|---|---|---|
| 1 | GAN（Goodfellow et al., 2014） | 生成器与判别器对抗训练，生成逼真图像 | 解决"生成模型缺一个可微的目标"——用判别器当损失函数 |
| 2 | DDPM（Ho et al., 2020） | 前向逐步加噪、反向逐步去噪，扩散模型 | 解决 GAN 训练不稳定、模式崩塌——目标函数简单稳定 |
| 3 | LDM / Stable Diffusion（Rombach et al., 2022） | 把扩散过程搬到潜在空间 | 解决"像素空间扩散太贵"——低维潜在空间又快又好 |
| 4（可选） | DiT（Peebles et al., 2023） | 用 Transformer 架构做扩散模型（Diffusion Transformer） | 解决"U-Net 扩展性受限"——Transformer 架构随规模平滑提升 |
| 5（可选） | Sora 技术报告（OpenAI, 2024） | 视频生成模型，把模型当作"世界模拟器" | 从静态图生成迈向时序一致的视频生成 |
阅读顺序建议
- 第 1 篇 GAN：读摘要与目标函数
min max的博弈直觉。只需理解"伪造者 vs 鉴别者"的循环，以及它为什么容易模式崩塌。 - 第 2 篇 DDPM：读摘要、图 2（加噪去噪示意）、训练算法伪代码。抓住直觉：正向把图一点点加噪成纯噪声，反向学"从噪声一步步还原图"；训练目标只是一个简单的去噪损失，比 GAN 稳定得多。
- 第 3 篇 LDM：读摘要与图 3（架构示意）。抓住核心：先用自编码器把图像压到低维潜在空间，再在潜在空间里跑扩散——算力成本大幅下降，消费级显卡可玩。
- 第 4 篇 DiT（可选）：读摘要与 scaling 曲线，了解"扩散 + Transformer"为何成为 2024 年后视频生成的主流。
- 第 5 篇 Sora 报告（可选）：读报告主体即可，它本质是技术说明而非严谨论文，重点看"世界模拟器"的定位与局限自述。
读完检验标准
读完至少前三篇后，你应该能回答： ① GAN 训练的核心矛盾是什么？（生成器与判别器的 min-max 博弈、模式崩塌） ② 扩散模型"前向加噪、反向去噪"为什么训练稳定？（每步目标都是去噪，梯度信号清晰） ③ LDM 为什么要把扩散搬进潜在空间？（像素空间维度太高、计算爆炸；潜在空间低维且保留语义） ④ 一句话：Stable Diffusion 出图的大致流程？（文本编码 → 潜在空间去噪 → 解码回像素）
答不上来就回看对应论文的图，本主线的图解式补充见扩散模型与生成式 AI。
五、路线三：应用工程主线
目标：理解"论文方法如何变成可交付的产品能力"——检索、Agent、高效微调，这是工程落地最常被问到的一组。
论文清单与演进逻辑
| 顺序 | 论文（作者, 年份） | 一句话贡献 | 它解决了上一篇的什么问题 |
|---|---|---|---|
| 1 | RAG（Lewis et al., 2020） | 检索 + 生成结合，让模型引用外部知识 | 解决"模型知识固化、会幻觉"——引入外部知识库 |
| 2 | ReAct（Yao et al., 2022） | 推理（Thought）与行动（Action）交替循环 | 解决"只靠参数推理，无法接触外部世界"——让模型能调工具 |
| 3 | LoRA（Hu et al., 2021） | 低秩分解高效微调，只训少量参数 | 解决"全量微调太贵、存不起"——冻结主干只学增量 |
| 4（可选） | GraphRAG（微软, 2024） | 用知识图谱索引再检索 | 解决"向量检索答不了全局性问题"——图结构补关系推理 |
阅读顺序建议
- 第 1 篇 RAG：读摘要与 3.2 节的架构图。抓住"检索器 + 生成器"两条管道，理解"先召回再生成"为何能降低幻觉。工程细节（分块、Embedding、向量库）见从零搭建 RAG 应用。
- 第 2 篇 ReAct：读摘要与 Figure 1 的案例。抓住
Thought → Action → Observation循环——这是AI 智能体所有工程实现的理论原型。 - 第 3 篇 LoRA：读摘要与第 4 节的实验表。抓住核心直觉：权重更新量通常是低秩的，所以可以分解成两个小矩阵来学——可训练参数减少 10000 倍也不掉点。落地见微调你自己的 LLM。
- 第 4 篇 GraphRAG（可选）：读摘要与社区检测/层级摘要的流程。理解它为何在处理"全局问题"（如"这些文档总体讲了什么"）时优于朴素 RAG。
读完检验标准
读完前三篇后，你应该能回答： ① RAG 的两段式流程是什么？它缓解幻觉的原理是什么？（检索到的证据约束生成） ② ReAct 的循环里，推理和行动各起什么作用？（Thought 决策、Action 调工具、Observation 反馈） ③ LoRA 为什么能省显存？低秩分解的直觉是什么？（增量矩阵 ≈ A×B 两个小矩阵） ④ 工程师版附加题：RAG 的检索质量差，会怎样拖累生成？（坏证据比没证据更误导）
全部能答，说明你具备"论文 → 工程方案"的翻译能力——这正是工程面试要考的核心。
六、路线四：对齐与安全主线
目标：理解"如何让模型既强大又听话"——从 RLHF 到自我对齐，再到免强化学习的 DPO。这是大模型岗位面试与AI 安全与治理讨论的高频话题。
论文清单与演进逻辑
| 顺序 | 论文（作者, 年份） | 一句话贡献 | 它解决了上一篇的什么问题 |
|---|---|---|---|
| 1 | InstructGPT（Ouyang et al., 2022） | RLHF 三阶段：SFT → 奖励模型 → 强化学习 | 解决"预训练模型能力强但不遵循指令" |
| 2 | Constitutional AI（Bai et al., 2022） | 用一组原则让模型自我批评、自我修正 | 解决"RLHF 依赖大量人工标注"——用规则代替标注员 |
| 3 | DPO（Rafailov et al., 2023） | 把 RLHF 简化为偏好分类损失 | 解决"强化学习工程复杂、不稳定"——免 RL 直接优化 |
阅读顺序建议
- 第 1 篇 InstructGPT：读摘要与 3.1 节流程。把 RLHF 三阶段画成流程图，这是理解后续所有对齐工作的基准。
- 第 2 篇 Constitutional AI：读摘要与图 1（监督阶段 + RL 阶段示意）。抓住"critique → revision"循环：模型按宪法原则批评自己的回答并重写，再用偏好学习强化。
- 第 3 篇 DPO：读摘要与 3.2 节核心公式（不必抠推导）。抓住结论：偏好数据可以直接构造目标函数，无需显式奖励模型与 PPO——工程上简单一个量级。
读完检验标准
读完三篇后，你应该能回答： ① RLHF 为什么需要奖励模型这一步？（偏好是相对的，需要一个可优化的标量目标） ② Constitutional AI 用"原则"替代了什么？代价是什么？（替代人工偏好标注；代价是原则本身的编写质量） ③ DPO 相比 RLHF 的核心简化是什么？（跳过显式奖励模型与强化学习，直接做分类优化） ④ 三者的共同起点是什么？（都是让输出符合人类/规则偏好，只是实现路径不同）
对齐的完整概念体系见对齐：RLHF 与 DPO，面试出题方向见面试题库。
七、路线五：少而精
目标：时间极其有限时，用 5 篇建立"AI 热门概念"的最小完备认知集。这 5 篇分别对应五根柱子：机制（Attention）、规模（GPT-3）、工程（RAG、LoRA）、生成（DDPM）。
| 篇 | 论文 | 它代表哪根柱子 | 泛读时长 |
|---|---|---|---|
| 1 | Attention Is All You Need（2017） | 现代大模型的地基机制 | 1–2 小时 |
| 2 | GPT-3（2020） | 规模法则与上下文学习 | 1–2 小时 |
| 3 | RAG（2020） | 检索增强：解决幻觉的工程范式 | 1 小时 |
| 4 | LoRA（2021） | 高效微调：小成本适配大模型 | 1 小时 |
| 5 | DDPM（2020） | 扩散模型：生成式 AI 的技术底座 | 1–2 小时 |
阅读顺序与方式
每篇只读 摘要 → 引言 → 图表 → 结论，不抠公式。读完后用一句自己的话写出"它解决了什么问题"。五篇全部读完后，你已经能回答"大模型为什么能行、怎么让它更好用、图像怎么生成"这三个 AI 热点领域的主干问题。
读完检验标准（保底版）
读完五篇后，你应该能对非技术朋友各用一句话讲清楚：Attention 是"让模型看全局"；GPT-3 是"喂得够多就啥都会点"；RAG 是"不会的先去查资料"；LoRA 是"改一点就够了"；DDPM 是"从噪声里一步步还原图"。能讲成大白话，说明真的读懂了。
八、时间预算建议
读论文最大的资源约束是时间，先定预算再定深度，别让"完美主义"拖垮节奏：
| 阅读方式 | 单篇耗时 | 读什么 | 产出 |
|---|---|---|---|
| 泛读 | 1–2 小时 | 摘要 + 引言 + 图表 + 结论 | 能说出"解决什么问题、核心方法一句话、效果如何" |
| 精读 | 4–6 小时 | 全文 + 方法 + 消融 + 局限 + 笔记 | 能讲清机制、消融证据与适用边界，甚至能判断可否复用 |
| 研读 | 8 小时以上 | 精读 + 推导 + 复现 | 能指出论文漏洞、提出改进（研究者专用） |
两条实操建议：
- 80/20 法则：约 80% 的论文只配泛读（1–2 小时），15% 值得精读（4–6 小时），5% 值得研读。精读是投资，泛读是开销——用开销维持广度，用投资换取深度。
- 每天 1 小时 > 周末突击 7 小时：论文理解需要"隔夜发酵"，连续的小剂量输入远比单次突击扎实。方法论细节与笔记法见阅读纪律与 FAQ。
最常见的时间陷阱
"每篇都要精读"是最贵的误区——它让你一个月只能读 3 篇，然后因进度太慢而放弃。正确姿势是：先用泛读快速圈定"值得精读"的候选，再对少数几篇投入 4–6 小时。 判断某篇值不值得精读，用论文地图查它在谱系中的位置即可。
延伸阅读
- 论文精读：从这里开始 —— 栏目总入口：为什么读论文、四步法、工具推荐
- 论文地图 —— 五条路线的宏观坐标系：论文的源头、里程碑与综述
- 经典论文精读 —— 路线一、二、三涉及的经典论文的逐段拆解
- 前沿进展 —— 路线的延长线：2020 年代最新突破的系统梳理
- 阅读纪律与 FAQ —— 三遍法、笔记法、读不懂怎么办
- 学习路径 —— 从论文回到全站体系：完整的知识学习路线
- 演进简史 —— 把论文放进更大的时间线：AI 的历史脉络
- 术语表 —— 读论文遇到生词随时查
- 精选资源清单 —— 论文代码复现、数据集与工具的真实资源集合
参考资料
以下资料均为真实公开资源，供深入自学：
- arXiv 预印本库 —— 绝大多数 AI 论文的第一发布地
- Vaswani et al. Attention Is All You Need (NeurIPS 2017) —— Transformer 原始论文
- Devlin et al. BERT: Pre-training of Deep Bidirectional Transformers (2018)
- Brown et al. Language Models are Few-Shot Learners (NeurIPS 2020) —— GPT-3
- Ouyang et al. Training language models to follow instructions with human feedback (2022) —— InstructGPT
- Touvron et al. LLaMA: Open and Efficient Foundation Language Models (2023)
- Goodfellow et al. Generative Adversarial Nets (NeurIPS 2014) —— GAN
- Ho et al. Denoising Diffusion Probabilistic Models (NeurIPS 2020) —— DDPM
- Rombach et al. High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022) —— LDM / Stable Diffusion
- Peebles et al. Scalable Diffusion Models with Transformers (ICCV 2023) —— DiT
- Lewis et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020) —— RAG
- Yao et al. ReAct: Synergizing Reasoning and Acting in Language Models (ICLR 2023)
- Hu et al. LoRA: Low-Rank Adaptation of Large Language Models (ICLR 2022)
- Microsoft. From Local to Global: A Graph RAG Approach to Query-Focused Summarization (2024) —— GraphRAG
- Bai et al. Constitutional AI: Harmlessness from AI Feedback (2022)
- Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model (NeurIPS 2023) —— DPO
- OpenAI. Video generation models as world simulators（Sora 技术报告, 2024）
- Jay Alammar. The Illustrated Transformer (2018) —— 图解精读 Transformer 的经典范例
- The Annotated Transformer（Harvard NLP） —— 逐行注释 + 可运行代码的 Transformer 精读版