个人思考｜自动驾驶技术全景学习指南：从基础到前沿的六范式知识体系

📍 为什么需要这份指南

2026 年的自动驾驶技术已经不再是"模块化 vs 端到端"的二元争论。VLA、世界模型、Scoring-based 规划、JEPA、Flow-GRPO……新技术范式在短短两年内集中爆发，每一条路线都有自己完整的论文谱系、工程实践和社区生态。

对从业者来说，问题已经不是"该学什么"，而是**“太多东西要学，不知道该从哪里入手”**。

这份指南的目标不是替代已有的知识点拆解文章（博客里每篇都写得很细了），而是提供一份导航地图——告诉你每个知识点在整体图景中的位置、它依赖什么前置知识、它能通向什么前沿方向。

🧱 第一层：基础基石

这些是理解所有上层范式的前置知识，绕不过去。

1.1 Transformer 与注意力机制

这是所有现代自动驾驶模型的底层构件。从 UniAD 到 VLA 到世界模型，无一例外。

必须搞懂的核心概念：

• Scaled Dot-Product Attention 的计算流程
• Cross-Attention 在模态融合中的作用（图像 token 作为 Query，场景 token 作为 Key/Value）
• KV-Cache 加速推理的原理
• Positional Encoding（绝对位置 vs RoPE vs ALiBi）

博客文章：Transformer与注意力机制详解

自测：能写出 Cross-Attention 的前向代码，并解释 $O(n^2)$ 复杂度从哪来。

1.2 BEV 感知

BEV（Bird’s Eye View）是 2022-2025 年自动驾驶感知的事实标准。即使最新的稀疏化方案（SparseDrive）也在师承 BEV 的思想。

必须搞懂的核心概念：

• LSS（Lift-Splat-Shoot）视角变换
• Transformer-based BEV 融合（BEVFormer 的 Temporal Self-Attention）
• BEV 特征 vs 稀疏 query 的 trade-off

博客文章：BEV感知技术详解

自测：能解释"为什么 BEV 特征比图像特征更适合做规划输入"。

1.3 扩散模型与 Flow Matching

生成式范式（VLA 的动作头、世界模型的视频生成、Scoring 的候选采样）全部建立在这两个技术上。

必须搞懂的核心概念：

• DDPM 的前向加噪和反向去噪过程
• Flow Matching 的直线轨迹 vs 扩散的弯曲轨迹
• Classifier-Free Guidance（CFG）的原理
• ODE vs SDE 采样

博客文章：扩散模型基础详解 + Flow-Matching入门详解

自测：能数学上写出 Flow Matching 的条件向量场损失函数。

1.4 强化学习基础

从 Flow-GRPO 到 DiffGRPO 到 Dreamer V3，RL 正在渗透自动驾驶的每一个角落。

必须搞懂的核心概念：

• Policy Gradient 定理和 REINFORCE 算法
• PPO 的 clipped objective 和 advantage 估计
• On-policy vs Off-policy 的核心差异
• GRPO 的组内优势计算（不需要 critic）

博客文章：强化学习基础详解 + GRPO强化学习方法详解

自测：能推导 PPO 的 ratio 公式，并解释为什么 GRPO 不需要 critic。

1.5 VLM 与视觉语言对齐

VLA 的基础——如果不理解 VLM，就无法理解 VLA。

必须搞懂的核心概念：

• CLIP 的对比学习目标和双塔架构
• LLaVA 的视觉投影层和指令微调范式
• 多模态 token 拼接和自回归生成

博客文章：VLM视觉语言模型入门详解

1.6 评测体系

没有评测就没有进步。NAVSIM、nuScenes、Bench2Drive 的指标设计直接影响方法论走向。

必须搞懂的核心概念：

• 开环（Open-Loop）vs 闭环（Closed-Loop）的根本区别
• PDMS 的五维指标：NC(碰撞) × DAC(可行驶区域) × (5TTC + 2C + 5EP)/12
• EPDMS 的扩展：新增 DDC(方向)/TL(红绿灯)/LK(车道保持)/EC(扩展舒适)
• Bench2Drive 的 Driving Score 和 Success Rate

博客文章：NAVSIM基准详解 + 开环评测vs闭环评测深度解析

🏛️ 第二层：六大核心范式

范式一：端到端自动驾驶（E2E）

一句话定位：用一个大网络打通传感器到控制，消除模块间信息损失。

发展脉络：

从 2016 年 NVIDIA PilotNet 的"单目图像→方向盘"的直接回归开始，E2E 经历了三个阶段的演进：

1. 隐式 E2E（2016-2022）：CNN 直接回归控制量，黑盒、难训练、效果不稳定。代表：PilotNet、Conditional Affordance Learning、Learning by Cheating。

2. 显式 E2E（2023-2024）：网络内部保留感知/预测/规划的任务结构，但梯度贯通联合优化。UniAD（CVPR 2023 Best Paper）是开山之作。VAD 实现了向量化效率革命。SparseDrive 把稀疏化做到极致。

3. 生成式 E2E（2024-2026）：引入扩散模型做多模态轨迹生成。DiffusionDrive 用 Flow Matching 替代确定性回归，DiffusionDrive V2 引入 RL 约束增强安全性。

关键论文序列：

与其他范式的关系：

• E2E → 进化出 VLA（加入 LLM 推理能力）
• E2E → 需要 World Model 提供数据增强和闭环训练环境
• E2E × Scoring = SparseDriveV2（生成候选 + 评分选优）

推荐博客文章：端到端自动驾驶演进 + VAD向量化端到端精读

范式二：VLA（Vision-Language-Action）

一句话定位：给 E2E 装上 LLM 的"脑子"，让系统边推理边开车。

发展脉络：

VLA 经历了动作表征的三代演进：

1. G1 离散 Token（2023-2024）：RT-2 把动作离散化成 256 个 bin 当作文字生成。精度受限于量化误差，但证明了"VLM 可以直接输出动作"的可行性。

2. G2 扩散/Flow Matching（2024-2025）：π0 用 Flow Matching 替代离散 tokenization，10 步采样即达 30Hz 控制频率。Octo 开源了扩散策略标杆。

3. G3 CoT 推理（2025-2026）：GR-3 引入 Chain-of-Thought 推理（“看到行人→判断意图→规划制动→输出动作”），碰撞率降低 45%。EPM 把规划显式嵌入 token 生成过程。BridgeVLA 用"桥接监督"弥合预训练和微调之间的 gap。

动作头的三角权衡：

三阶段训练管线：

2026 年最新进展：

• VLA-World（CVPR 2026）：统一 VLA 预测想象与反思推理——用动作引导未来帧生成，再用 GRPO 优化。
• Orion：端到端 VLA，语言指令直接驱动轨迹生成。
• OpenDriveVLA：开源 VLA 驾驶模型，在 nuScenes 上 SOTA。

推荐博客文章：什么是VLA模型 + 前沿VLA模型全景速览

范式三：世界模型（World Model）

一句话定位：学会"世界怎么运作"，在脑子里预演未来。

三大预测空间：

三大应用场景：

1. 数据增强：生成训练集中稀缺的组合场景（如夜间暴雨+行人横穿）。代表：DriveDreamer、MagicDrive。

2. 闭环仿真：根据自车动作实时生成下一帧，实现互动式训练。代表：Vista（DiT 骨干 + 动作条件）。

3. Model-based Planning：在推演中选最优轨迹。代表：Drive-WM（世界模型+MPPI）、ReWorld（重建误差即 reward）。

与其他范式的关系：

• World Model → 为 VLA 提供"想象力"（VLA-World 路线）
• World Model → 为 E2E 提供训练数据和闭环仿真环境
• World Model × JEPA = 表征式世界模型（在隐空间预测，不重建像素）

推荐博客文章：什么是世界模型 + 驾驶世界模型全景详解

范式四：Scoring-based 规划

一句话定位：生成多个候选轨迹，学一个评分器选最好的。判别比生成更可靠。

三大范式对比：

SparseDriveV2 的关键突破（2026.03）：

清华 + 地平线证明了一个反直觉的结论：“Scoring is All You Need”——只要词汇表够大、评分器够好，静态词汇表可以匹敌甚至超越动态生成方法。

• 因子化词汇表：1024 路径 × 256 速度 = 262,144 候选
• 层级评分：coarse scorer 粗筛 top-128×top-64 → fine scorer 精评 400 条
• ResNet-34 轻量骨干，NAVSIM PDMS 92.0，Bench2Drive DS 89.15

Scorer 损失函数：PDM label（开环 approach）→ Cycle Energy（自监督 approach，JEPA-DRIVE）

推荐博客文章：Scoring-based规划范式详解

范式五：JEPA（联合嵌入预测架构）

一句话定位：在隐空间做预测，不碰像素。让模型学"会发生什么"，而非"画得像什么"。

核心三件套：

为什么在隐空间预测？

传统方法（MAE/Diffusion）在像素空间预测，模型可以作弊——用周围像素颜色模糊填充，不需要理解"被遮的是什么"。JEPA 把预测搬到隐空间，天然丢弃了像素级纹理细节，迫使模型理解语义。

演进路线：

两个自动驾驶 JEPA 路线的区别：

推荐博客文章：JEPA联合嵌入预测架构详解

范式六：RL + 生成式规划

一句话定位：用强化学习优化生成式策略，让模型超越"模仿人类"的上限。

为什么需要 RL？

模仿学习（Behavior Cloning）有三个根本局限：

1. 分布偏移：模型自己输出偏离训练数据时，没有信号拉回来
2. 无法超越专家：上限就是训练数据的水平
3. 目标不可微：碰撞率、舒适性无法写成监督标签

RL 的解法：优化"结果好不好"，不是"像不像数据"。

四大范式谱系：

Flow-GRPO 的核心改造：

把 GRPO 从离散 token（语言模型）迁移到连续去噪（Flow Matching），需要三个关键改造：

1. 去噪转移 = action：从 $x_t$ 到 $x_{t-1}$ 的 latent 转移作为 RL 的 action
2. ODE → SDE：纯 ODE 确定性的，没有概率密度就写不出 log-prob。注入随机性：$x_{t-1} = \mu(x_t, t) + \sigma \cdot \epsilon$
3. 终点 reward 广播：最终结果的 reward 复制到每个去噪步的 log-prob ratio 上

加速技巧：Flow-GRPO-Fast 只训练 1-2 个窗口步，速度数倍提升；GRPO-Guard 用 RatioNorm + Gradient Reweight 防过优化。

推荐博客文章：Flow-GRPO详解 + PPO算法深度拆解

🔗 第三层：范式间的联系

这六大范式不是孤立的，它们之间有依赖、进化、互补三重关系。

依赖关系

进化关系

互补关系

📄 第四层：论文时间线与关键脉络

2023 年：基础奠基

2024 年：范式爆发

2025 年：工程深化

2026 年：融合收敛

🧭 第五层：学习路线推荐

按角色推荐

如果你是感知背景出身：

如果你是规划/控制背景：

如果你是 LLM/VLM 背景：

如果你是系统工程/部署背景：

按时间投入推荐

1 周入门：E2E演进 + VLA基础 + 世界模型概念 + 评测体系

1 个月系统学：以上 + VAD精读 + π0/DriveVLM精读 + Scoring范式详解

3 个月深入：以上 + JEPA详解 + Flow-GRPO源码 + SparseDriveV2复现 + JEPA-DRIVE理解

6 个月专家：以上 + 能梳理任意新论文的范式归属 + 能设计新范式组合方案

📋 第六层：知识自测清单

每道题按表计分，60 分及格，80 分良好，90 分以上是专家水平。

基础层（每题 2 分，共 20 分）

• 能写 Transformer 的 Cross-Attention 前向代码
• 能解释 BEVFormer 的 Temporal Self-Attention 作用
• 能对比扩散模型和 Flow Matching 的核心公式差异
• 能推导 PPO 的 clipped objective
• 能对比开环评测和闭环评测的优缺点
• 能解释 PDMS 指标的五维组成
• 能说出 CLIP 的训练目标和双塔架构
• 能解释 LSS 视角变换的核心步骤
• 能说出 GRPO 相比 PPO 的关键差异
• 能解释 CFG（Classifier-Free Guidance）的作用

核心层（每题 4 分，共 40 分）

• 能梳理端到端三代架构（隐式/显式/生成式）的演进脉络
• 能比较 UniAD / VAD / SparseDrive 三者的核心设计差异
• 能比较三种 VLA 动作头（离散/回归/扩散/Flow）的 trade-off
• 能说出世界模型三大预测空间及其适用场景
• 能对比 Scoring 三大范式（Vocabulary/Dynamic/Diffusion）的优劣
• 能解释 SparseDriveV2 的因子化词汇表和层级评分设计
• 能画出 JEPA 三件套（Context Encoder/Target Encoder/Predictor）架构
• 能说出 JEPA 为什么不需要数据增强（对比 SimCLR/BYOL）
• 能对比四种 RL+生成范式（Reward Guidance/Rejection/Policy Gradient/World Model RL）
• 能解释 Flow-GRPO 的三个核心改造（action=SDE/latent transition/log-prob）

进阶层（每题 5 分，共 25 分）

• 能对比 FSD / Momenta / 华为 ADS / 小鹏 XNGP 四家方案的核心差异
• 能说出 VLA-World (CVPR 2026) 的"预测想象+反思推理"具体怎么做
• 能对比 DRIVE-JEPA 和 JEPA-DRIVE 的 JEPA 角色差异
• 能解释 Cycle Energy 和 JEPA 预测误差的关系
• 能说出 Flow-GRPO-Fast 和 GRPO-Guard 的加速/防过优化原理

专家层（每题 5 分，共 15 分）

• 能用一个框架统一解释 E2E / VLA / World Model / Scoring / JEPA / RL+Gen 六个范式的关系
• 能判断一篇新论文属于哪个范式，并说出它解决了什么核心问题
• 能为一个具体问题（如"重卡VLA"）设计范式组合方案

评分对照

🔮 未来趋势判断

已确认的趋势（共识级）

1. Scoring 范式成为规划主流：SparseDriveV2 证明"静态词汇表+层级评分"可以匹敌动态生成。JEPA-DRIVE 证明评分可以自监督，不需要 PDM。

2. VLA + 世界模型走向融合：VLA-World (CVPR 2026) 是标志性工作——VLA 做推理，世界模型做想象，共享骨干。

3. RL 成为 Post-training 标配：Flow-GRPO → DiffGRPO → ReCogDrive，RL 正在从图像生成渗透到驾驶策略优化。

4. 表征式世界模型崛起：JEPA 路线证明了在隐空间预测的有效性，“不重建像素"正在成为世界模型的新共识。

仍在争议的方向

1. 像素 vs 潜在 vs 占用：三者各有适用场景，尚未出现"赢家通吃”。

2. 端到端 One-Model vs 模块化：FSD 走 one-model，其他三家走"端到端化模块"，谁最终胜出取决于安全验证体系。

3. 仿真数据 vs 真实数据：Tesla 走仿真为主（65%），Momenta 走真实为主。数据策略的分化在扩大。

4. CoT 推理的价值：CoT 在碰撞率上提升明显（GR-3 降低 45%），但引入了"幻觉推理"的新失败模式（~1.3%）。是否值得额外延迟？

个人判断

1. 3.88M vs 7B 不是参数量的竞争，是范式的竞争。JEPA-DRIVE 证明：如果你改变范式（从"映射"到"选择"），小模型也能做大事。

2. 自监督评分是 2026 年的关键突破口。Cycle Energy（JEPA-DRIVE）和 ReWorld（重建误差即 reward）印证了同一个方向——评分信号可以从数据中自监督地产生。

3. 2027 年的方向是"三层融合"：VLA（推理层）+ 世界模型（推演层）+ Scoring/RL（优化层）三层融合，共享隐空间表征，形成真正像人一样开车的系统。

📚 参考文献索引

本文依赖博客已有的系列文章体系。建议按以下顺序阅读：

基础系列：

1. Transformer与注意力机制详解
2. BEV感知技术详解
3. 扩散模型基础详解 + Flow-Matching入门详解
4. 强化学习基础详解 + GRPO强化学习方法详解
5. VLM视觉语言模型入门详解

核心范式系列： 6. 端到端自动驾驶演进 + VAD向量化端到端精读 7. 什么是VLA模型 + 前沿VLA模型全景速览 8. 什么是世界模型 + 驾驶世界模型全景详解 9. Scoring-based规划范式详解 10. JEPA联合嵌入预测架构详解 11. Flow-GRPO详解

产业实践系列： 12. 主流自动驾驶方案对比（FSD/Momenta/华为/小鹏） 13. NAVSIM基准详解 + NAVSIM排行榜深度分析 14. 端到端驾驶评测指标全景

知识库资源推荐

除了博客文章，以下知识库也值得持续关注：

• 自动驾驶技术指南（GitHub Pages）— 云飞机器人实验室维护的系统性技术手册，覆盖从概述到实例的完整体系
• 自动驾驶之心知识星球 — 4000+ 成员的自动驾驶学习社区，整合近 40+ 方向的技术栈学习路线
• 自动驾驶全栈学习路线汇总（CSDN）— 13 个主流方向的学习资料和论文清单
• 53AI 知识库 (53ai.com) — 大模型与AI应用知识库，含自动驾驶行业应用实践
• 技术栈社区 (jishuzhan.net) — 自动驾驶领域热点简报，追踪政策和产业动态
• KnowVal 驾驶知识图谱 (CVPR 2026) — 融合交规、防御性驾驶规范的知识增强驾驶系统

📖 本文是对博客已有知识体系的一次全景梳理与路线图绘制。如果你能答出 80/100 分自测题，说明你已经掌握了 2026 年自动驾驶技术的核心知识；如果你能答出 90+，你就是这个领域的专家。

知识库资源将持续更新，建议定期查阅上述链接获取最新内容。