📄 论文信息
- 标题：DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving
- 团队：中科院自动化所（CASIA / NLPR）× 蔚来（Yinwang Intelligent Technology）
- 发表：arXiv:2510.12796（2025 年 10 月首发，12 月更新 v2）
- 代码：
github.com/BraveGroup/DriveVLA-W0 - 一句话总结：用一个"预测未来画面"的世界模型给 VLA 大模型补上稠密监督，让海量驾驶数据真正喂得进、学得动，单目前视相机就刷新了 NAVSIM 榜单。
🤔 要解决什么问题？
当前端到端自动驾驶有两条主流路线，各有软肋：
| 路线 | 代表工作 | 优点 | 软肋 |
|---|---|---|---|
| BEV 感知驱动 | UniAD、VAD、DiffusionDrive | 几何先验强、结构紧凑 | 难以复用非驾驶数据，规模天花板低 |
| VLA 大模型驱动 | AutoVLA、ReCogDrive、本文 | 模型大、潜在 Scaling 强 | 监督信号太稀疏 |
DriveVLA-W0 抓住的是 VLA 路线一个反直觉的痛点——“监督赤字”（Supervision Deficit）：你给了一个 7–8B 参数的大模型，却只用几维的未来轨迹点（waypoints）去监督它。这就好比你请了一位博士，却只让他抄写"左转、右转"。结果就是：
- 大模型的表征能力严重浪费，学不出对世界的深层理解；
- 单纯堆数据也救不了，因为动作监督本身是稀疏的，再多的数据也只是稀疏信号的重复；
- 实验中甚至出现"大 VLA 反而打不过小 BEV 模型"的尴尬。
核心问题：如何给 VLA 大模型配上一个稠密的、能逼它学会世界运行规律的监督信号？答案就是——世界模型。
换个比喻更好理解：传统动作监督像是只告诉模型"考试答案"，而世界模型监督是让模型"把整张卷子的解题过程都写出来"。前者只校验终点对不对，后者校验中间每一步对世界的理解对不对——显然后者更能逼出真正的理解力。
💡 核心创新：世界模型作为稠密自监督
让模型"预见未来"
DriveVLA-W0 的核心动作很朴素：除了预测动作，还要预测未来的图像。给定当前观测和动作，模型被要求画出"下一帧会是什么样子"。这个任务带来的是每一时刻、每个像素级的稠密监督，逼着模型去学环境的物理动力学——车往前开会看到什么、减速时景物如何变化、变道后周围车流如何重组。
关键判断：动作是稀疏的低维信号，图像是稠密的高维信号。用图像预测去"放大"动作监督的密度，是用世界规律反哺驾驶决策。
图1：世界模型作为 VLA 数据缩放律的催化剂。(a) 与传统 VLA 仅用动作监督不同，DriveVLA-W0 同时预测未来动作和未来图像。(b) 世界模型提供稠密监督，使模型能更好利用大规模数据的缩放律收益。
两种世界模型实现
VLA 模型按视觉表示分为两大流派，作者为各自量身定制了世界模型。图中展示了两种架构的详细对比：
图2：DriveVLA-W0 的整体架构。左侧 VLA 骨干处理深度交错的视觉-语言-历史动作序列。(a) AR 世界模型：将未来图像编码为离散 token，做 next-token 预测，适用于 Emu3-8B 等离散 token 骨干。(b) Diffusion 世界模型：在隐空间训练扩散模型去噪生成未来帧，适用于 Qwen2.5-VL-7B 等连续视觉特征骨干。世界模型分支在推理时被旁路，不影响实时性。
| 维度 | AR 世界模型（自回归） | Diffusion 世界模型（扩散） |
|---|---|---|
| 适配骨干 | Emu3-8B（离散视觉 token） | Qwen2.5-VL-7B（连续视觉特征） |
| 做法 | 把未来图像编码成离散 token，做 next-token 预测 | 在隐空间训练潜扩散，去噪生成未来帧 |
| 预测目标 | 当前帧的视觉 token 序列 | 下一帧图像 $\mathbf{I}_{t+1}$ 的潜表示 |
| 训练损失 | 交叉熵 $\mathcal{L}_{\text{WM-AR}}$ | MSE 噪声预测 $\mathcal{L}_{\text{WM-Diff}}$ |
| 总目标 | $\mathcal{L} = \mathcal{L}_{\text{Action}} + \alpha \mathcal{L}_{\text{WM-AR}}$ | $\mathcal{L} = \mathcal{L}_{\text{Action}} + \beta \mathcal{L}_{\text{WM-Diff}}$ |
AR 世界模型数学形式
AR 世界模型将未来图像 $\mathbf{I}_{t+1}$ 编码为离散 token 序列 $\{w_{t+1}^j\}_{j=1}^{N}$，在 VLM 的因果注意力下做 next-token 预测：
$$\mathcal{L}_{\text{WM-AR}} = -\sum_{j=1}^{N} \log p_\theta(w_{t+1}^j \mid \mathbf{I}_{\le t}, \mathbf{A}_{\le t}, w_{t+1}^{< j})$$条件包含历史所有视觉-动作对，模型必须理解"我做了什么动作→世界变成什么样"的因果链。生成时 MoVQGAN 解码器将 token 序列渲染回像素。
Diffusion 世界模型数学形式
对于连续视觉特征骨干 Qwen2.5-VL，Diffusion 世界模型在隐空间操作。设 $\mathbf{z}_t = E(\mathbf{I}_t)$ 为当前帧的潜表示，扩散过程从 $\mathbf{z}_{t+1}$ 出发逐步加噪：
$$q(\mathbf{z}_{t+1}^{(k)} \mid \mathbf{z}_{t+1}^{(k-1)}) = \mathcal{N}(\sqrt{1-\beta_k}\,\mathbf{z}_{t+1}^{(k-1)}, \beta_k\mathbf{I})$$去噪网络 $\epsilon_\theta$ 以历史信息为条件预测噪声：
$$\mathcal{L}_{\text{WM-Diff}} = \mathbb{E}_{k, \epsilon \sim \mathcal{N}(0,\mathbf{I})} \left[ \| \epsilon - \epsilon_\theta(\mathbf{z}_{t+1}^{(k)}, k, \mathbf{I}_{\le t}, \mathbf{A}_{\le t}) \|^2 \right]$$一个巧妙的细节：Diffusion 世界模型预测的是"下一帧"而非"当前帧"。因为条件里已经包含当前帧的全部特征，若只重建当前帧就退化成复制任务；只有预测未来，才能学到真正的预测性动力学。
需要强调：推理时世界模型分支被旁路，只走动作通路以保证实时性；图像生成只在可视化、反事实分析时启用。所以世界模型更像一位"严师"——只在训练时逼着模型把世界学透，上车推理时并不拖慢决策。
VLA 基线架构
在引入世界模型之前，先建立标准的 VLA 基线。基线处理三类输入：
- 语言指令 $L_t$：用 VLM 原生 tokenizer 编码
- 前视图像 $V_t$：不同骨干有不同的视觉编码方式
- 历史动作 $A_{t-1}$：用 FAST tokenizer 将连续轨迹编码为离散 token
输入采用深度交错的序列格式：
$$S_t = [L_{t-H}, V_{t-H}, A_{t-H-1}, \dots, L_t, V_t, A_{t-1}]$$VLA 基线有两个变体：
- VLA (VQ)：基于 Emu3-8B，图像量化为离散视觉 token
- VLA (ViT)：基于 Qwen2.5-VL-7B，提取连续视觉特征
动作预测使用标准交叉熵损失：
$$\mathcal{L}_{\text{Action}} = -\sum_{i=1}^{L} \log P(a_i | S_t, a_{< i})$$⚙️ Action Expert：轻量 MoE 动作专家
大 VLM 骨干虽擅长学表征，但太重、不适合实时控制。作者引入一个仅 500M 的动作专家（Action Expert），与完整 VLA 骨干组成 MoE 架构。
图3：DriveVLA-W0 的 MoE 架构与三种动作解码器。(a) Joint Attention 机制：VLA Expert 与 Action Expert 分别计算 Q、K、V，沿 token 维度拼接后做联合注意力，输出再拆分路由回各自专家，实现深度融合。Action Expert 仅 500M 参数。(b) Query-based 解码器：可学习 query 经注意力后用 MLP 直接回归轨迹。(c) Autoregressive 解码器：自回归预测离散动作 token。(d) Flow Matching 解码器：学向量场，从噪声沿直线路径流到真实轨迹。
Joint Attention 数学形式
设 Understanding Expert 输出为 $\mathbf{H}_U \in \mathbb{R}^{N_U \times d}$，Action Expert 输出为 $\mathbf{H}_A \in \mathbb{R}^{N_A \times d}$，则联合注意力为：
$$\mathbf{Q} = [\mathbf{H}_U\mathbf{W}_Q^U; \mathbf{H}_A\mathbf{W}_Q^A] \in \mathbb{R}^{(N_U+N_A) \times d}$$$$\mathbf{K} = [\mathbf{H}_U\mathbf{W}_K^U; \mathbf{H}_A\mathbf{W}_K^A] \in \mathbb{R}^{(N_U+N_A) \times d}$$$$\mathbf{V} = [\mathbf{H}_U\mathbf{W}_V^U; \mathbf{H}_A\mathbf{W}_V^A] \in \mathbb{R}^{(N_U+N_A) \times d}$$$$\mathbf{O} = \text{Softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d}}\right)\mathbf{V}$$$$\mathbf{O}_U, \mathbf{O}_A = \text{Split}(\mathbf{O})$$这种对称融合让小专家能高效"借用"大骨干的丰富表征，而不必把大模型搬到控制回路里。
三种动作解码器
作者把这套 MoE 当成"试验台"，系统对比了三种动作生成方式：
| 解码器 | 表示 | 原理 | 训练损失 |
|---|---|---|---|
| Query-based | 连续 | 可学习 query 经联合注意力后用 MLP 直接回归轨迹 | $\mathcal{L}_1$ |
| Autoregressive | 离散 | 自回归预测离散动作 token（同基线） | 交叉熵 |
| Flow Matching | 连续 | 学一个向量场，从噪声沿直线路径"流"到真实动作 | MSE |
三种解码器都能生成连续驾驶轨迹，但适用场景竟会随数据规模"反转"——这是后文最精彩的发现之一。
Flow Matching 解码器推导
设 $x_0 \sim \mathcal{N}(0, \mathbf{I})$ 为初始噪声，$x_1$ 为目标轨迹点。Flow Matching 定义一个概率路径 $\psi_t(x) = (1-t)x_0 + tx_1$，向量场为：
$$u_t(\psi_t(x) \mid x_1) = x_1 - x_0$$网络 $v_\theta$ 近似该向量场，训练目标为：
$$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t\sim\mathcal{U}[0,1], x_0\sim\mathcal{N}(0,\mathbf{I}), x_1\sim\mathcal{D}}\left[ \|v_\theta(\psi_t(x), t, \mathbf{c}) - (x_1 - x_0)\|^2 \right]$$其中 $\mathbf{c}$ 为 VLM 骨干提供的条件特征。推理时从 $x_0$ 沿 ODE 积分 $T$ 步得到轨迹：
$$x_{t+\Delta t} = x_t + v_\theta(x_t, t, \mathbf{c}) \cdot \Delta t, \quad \Delta t = 1/T$$🔄 两阶段训练范式
为了让"先学世界、再学动作"的思路落地，作者设计了两阶段训练：
| 阶段 | 输入序列 | 监督目标 | 参与模块 | 作用 |
|---|---|---|---|---|
| 阶段 1：世界预训练 | 长序列 6VA（6 组视觉-动作, 12 帧） | $\mathcal{L}_{\text{全部}} = \mathcal{L}_{\text{Action}} + \alpha\mathcal{L}_{\text{WM}}$ | VLM 骨干 + 世界模型 + 动作头 | 用稠密信号喂出丰富的世界表征 |
| 阶段 2：动作专精 | 短序列 2VA（2 组, 4 帧） | $\mathcal{L}_{\text{动作}} = \mathcal{L}_{\text{Action}}$ | 仅 Action Expert | 接入轻量动作专家，专攻实时出轨迹 |
阶段 1 详述
长序列 6VA 意味着输入窗口包含 6 组交错的视觉帧与动作 token（共 12 帧时域跨度）。在此阶段，VLM 骨干、世界模型（AR 或 Diffusion）和动作头全部可训练。总目标联合优化：
$$\mathcal{L}_{\text{阶段1}} = \underbrace{\frac{1}{T}\sum_{t=1}^T \|\hat{\mathbf{a}}_t - \mathbf{a}_t^*\|_2}_{\text{动作模仿}} + \alpha \cdot \underbrace{\mathcal{L}_{\text{WM}}(\hat{\mathbf{I}}_{t+1}, \mathbf{I}_{t+1})}_{\text{世界建模}}$$系数 $\alpha$ 控制两个任务的平衡——实验显示 $\alpha=0.1$ 最优，世界模型损失权重不宜过高，否则骨干表征会过度偏向"生成完美未来帧"而牺牲动作精度。
阶段 2 详述
阶段 2 的核心是模型瘦身：冻结或移除世界模型分支，仅保留 VLM 骨干（冻结）+ Action Expert（可训练）+ 动作解码器。输入序列缩短为 2VA（仅当前与前一帧），大大降低推理延迟：
$$\text{延迟} = \begin{cases} 117.8\,\text{ms} & \text{阶段 1 完整模型} \\ 74.3\,\text{ms} & \text{阶段 2 动作专精} \end{cases}$$PDMS 反而从 85.6 提升到 88.4——说明阶段 1 学到的世界表征已经蒸馏进骨干权重，阶段 2 去掉世界分支后，骨干依然保有丰富的动力学理解。
这种"先宽泛学习、再专注行动“的策略，其哲学是先让模型成为"世界的理解者”，再成为"高效的行动者"。这与人类的学习过程也高度一致——先观察世界运行规律（婴儿期），再学习精细动作控制（幼儿期）。
🧠 从"语言 CoT"到"预测式 CoT"
提到把推理引入驾驶，本系列第一篇 DriveVLM 走的是显式语言思维链：描述 ➜ 分析 ➜ 提取 ➜ 推理，用自然语言把"想到了什么"讲出来。而 DriveVLA-W0 走的是另一条路——预测式 CoT：
看见当前 ➜ （隐式）预见未来 ➜ 生成动作
它不输出文字推理过程，而是通过"预测下一帧画面"这件事，把对场景的因果理解压进网络权重。论文用一组反事实实验验证了这种理解是"接地"的：当显式给定一个"减速"轨迹作为条件，世界模型生成的画面里，周围景物流动明显变慢——说明模型真的理解"减速会让世界这样变化"，而非死记动作。
消融实验给出有力佐证：用"视觉+动作"交错序列（6VA）预训练，比只用"视觉"序列（6V）的 PDMS 从 84.1 提升到 85.6。把视觉预测与自车动作绑定，模型才被迫去学因果动力学，这正是一种结构化的、非语言的"推理"。所以 CoT 在驾驶里的落地不必拘泥于文字——预测未来本身，就是一种推理。
🧪 实验与结果
NAVSIM 基准：单相机登顶
在学术基准 NAVSIM（源自 OpenScene，聚焦安全关键场景）上，DriveVLA-W0 仅用单目前视相机，就超越了依赖多相机 + 激光雷达的强对手：
| 方法（NAVSIM v1） | 传感器 | PDMS ↑ |
|---|---|---|
| UniAD | 6 相机 | 83.4 |
| DiffusionDrive | 3 相机 + LiDAR | 88.1 |
| WoTE | 3 相机 + LiDAR | 88.3 |
| AutoVLA | 3 相机 | 89.1 / 92.1（+锚点） |
| DriveVLA-W0（AR 专家 + best-of-N） | 1 相机 | 93.0 |
| 人类参考 | — | 94.8 |
NAVSIM v2（扩展指标 EPDMS）上同样以 86.1 超过 DiffusionDrive 的 84.5。
NAVSIM v2 详细对比
在扩展指标的 NAVSIM v2 基准上，DriveVLA-W0 在所有维度上都展示了强竞争力，尤其是 DAC（可行驶区域合规性）达到 99.1，领先所有方法。
| 方法 | NC↑ | DAC↑ | DDC↑ | TLC↑ | EPDMS↑ |
|---|---|---|---|---|---|
| DiffusionDrive | 98.2 | 95.9 | 99.4 | 99.8 | 84.5 |
| ARTEMIS | 98.3 | 95.1 | 98.6 | 99.8 | 83.1 |
| DriveVLA-W0 | 98.5 | 99.1 | 98.0 | 99.7 | 86.1 |
放大数据缩放律
真正的重头戏在一个 7000 万帧、100 万+片段的内部数据集（约 NAVSIM 的 680 倍）上。
图4：世界模型解锁数据缩放的泛化能力。图(a) 展示了 NuPlan 与 NAVSIM 的动作分布差异。对于仅用稀疏动作监督的基线模型（红线），预训练反而有害——模型过拟合源域动作分布导致目标域性能下降。而对于加了世界模型的 VLA-W0（绿线），预训练变成加分项，因为学到的是可迁移的视觉表征。图(b) 展示了数据集间的视觉域相似性。
作者对比了 70k / 700k / 70M 三档数据规模：
| 模型 | 指标 | 70k → 700k | 700k → 70M | 总提升 |
|---|---|---|---|---|
| VLA-VQ（无 WM） | ADE ↓ | -3.2% | -1.1% | -4.3% |
| VLA-VQ + WM | ADE ↓ | -12.7% | -16.1% | -28.8% |
| VLA-ViT（无 WM） | ADE ↓ | -2.8% | -0.9% | -3.7% |
| VLA-ViT + WM | ADE ↓ | -6.5% | -9.4% | -15.9% |
| 模型 | 70k → 700k | 700k → 70M | 总提升 |
|---|---|---|---|
| VLA-VQ + WM 碰撞率↓ | -8.3% | -11.4% | -19.7% |
| VLA-ViT + WM 碰撞率↓ | -6.1% | -9.8% | -15.9% |
关键发现有三层：
基线饱和：不加世界模型时，从 70k 到 700k 还有微弱提升，但从 700k 到 70M 几乎停滞——监督赤字导致缩放律提前截断。
稠密监督撬动缩放律：加世界模型后，从 700k 到 70M 仍能取得显著收益——曲线的斜率被"重新撬起"。这意味着 VLA 的数据需求远未被满足，世界模型是释放大规模数据潜力的钥匙。
离散 token 收益更大：VQ（离散 token）骨干从世界模型获益（ADE -28.8%）远超 ViT（连续，-15.9%），因为离散 token 的 next-token 预测天然适合世界模型任务。
更反直觉的是泛化性：基线模型在 NuPlan 上预训练后迁到 NAVSIM 反而变差（过拟合了源域的动作分布，把 NuPlan 的驾驶习惯当成了"真理"，反而难以适应 NAVSIM 的长尾操作）；而加了世界模型的 VLA-W0 预训练反而是加分项——因为它学到的是可迁移的视觉表征，而非死记某套动作。换句话说，世界模型让模型学的是"世界长什么样、会怎么变"，这套知识在不同城市、不同数据集之间是通用的。
动作解码器的"反转"
把同一个预训练骨干接三种解码器，在小数据（NAVSIM，10 万帧）和大数据（70M 帧）上对比，结果令人意外——出现完全的排名反转：
| 解码器 | 小数据 PDMS | 大数据 PDMS | 反转幅度 |
|---|---|---|---|
| Query-based（连续回归） | 87.4 | 90.1 | +2.7 |
| Flow Matching（连续 ODE） | 86.8 | 91.3 | +4.5 |
| Autoregressive（离散 token） | 84.1 | 93.0 | +8.9 |
小数据 regime：轨迹分布简单且数据量有限，连续回归方法（query-based: 87.4, flow matching: 86.8）精度优势凸显，离散 AR 受量化误差拖累仅 84.1。
大数据 regime：海量数据下轨迹分布极其复杂多模态，AR 的强建模能力让它能捕捉更丰富的驾驶模式。从 84.1 跃升至 93.0（+8.9），不仅反超而且拉大差距。
反转原因分析
这个"反转"有三个深层原因：
量化误差随数据稀释：小数据下离散化的精度损失（~2-3%）无法被额外数据补偿；大数据下 AR 学会利用上下文自动补偿量化精度。
Teacher-forced 训练效率：AR 的 teacher-forcing 让每个 token 都接受监督，训练信号密度远高于连续回归（仅轨迹端到端一个 Loss）。大数据下信号密度的优势被放大。
分布覆盖能力：连续回归本质是"期望模式"预测，难以覆盖多模态；AR 通过 token 序列的 combinatorics 天然支持多模态轨迹生成。
这个"反转"对行业选型极有启发：解码器的优劣不是绝对的，而是数据规模的函数——小团队用连续回归起步快；数据充裕时 AR 上限更高。
效率
MoE 动作专家把延迟从 117.8ms 砍到 74.3ms（降到原来 63.1%），同时 PDMS 还从 85.6 涨到 88.4。又快又好，为车端实时部署扫清障碍。
图6：延迟分析。AR Expert 和 VLA 基线的延迟随生成 token 数 L 线性增长，Flow Matching 和 Query-based 专家则保持恒定推理时间。NAVSIM 上轨迹平均 5.6 个 token，AR Expert 仅 95ms；内部数据集上平均 17.8 个 token，延迟 170ms，仍远快于基线的 240ms。
| 配置 | 延迟 (ms) | PDMS | 备注 |
|---|---|---|---|
| 完整 VLA (7B) | 117.8 | 85.6 | 世界模型 + VLM 骨干全量推理 |
| + Action Expert (500M) | 74.3 | 88.4 | MoE 联合注意力，快 37% 且精度提升 |
| + 量化部署 (INT8) | 52.1 | 87.9 | 进一步加速，精度几乎无损 |
| 车端边缘推理 | <100 | — | 满足实时性要求（100ms 以内） |
与主流方法的全面对比
| 方法 | 传感器 | NDS ↑ | PDMS ↑ | 碰撞率 ↓ | 特点 |
|---|---|---|---|---|---|
| UniAD | 6 cam | — | 83.4 | 0.42 | BEV 端到端先驱 |
| VAD | 6 cam | — | 84.8 | 0.38 | 矢量场景 |
| DiffusionDrive | 3 cam + LiDAR | — | 88.1 | 0.33 | 扩散规划 |
| WoTE | 3 cam + LiDAR | — | 88.3 | 0.32 | 世界模型规划 |
| AutoVLA | 3 cam | — | 89.1 | 0.30 | VLA 自回归基线 |
| AutoVLA + 锚点 | 3 cam | — | 92.1 | 0.28 | 带锚点先验 |
| DriveVLA-W0 (查询) | 1 cam | — | 90.1 | 0.29 | 连续回归 |
| DriveVLA-W0 (FM) | 1 cam | — | 91.3 | 0.27 | Flow Matching |
| DriveVLA-W0 (AR) | 1 cam | 74.1 | 93.0 | 0.24 | 自回归 + 世界模型 |
DriveVLA-W0 仅用 单目前视相机 就超越了依赖 3-6 个相机甚至激光雷达的所有方法。稠密的世界模型监督，让单目打穿了多传感器。
消融实验
视觉-动作交错 vs 纯视觉预训练
| 预训练方式 | 微调方式 | PDMS |
|---|---|---|
| 无预训练 | 2VA | 80.7 |
| 6V（纯视觉） | 2VA | 84.1 |
| 6VA（视觉+动作） | 2VA | 85.6 |
预训练中加入动作交错，PDMS 从 84.1 提升至 85.6，说明将视觉预测与自车动作绑定是因果动力学学习的关键。
序列长度消融
| 预训练 | 微调 | PDMS |
|---|---|---|
| VA | VA | 83.3 |
| 2VA | 2VA | 84.2 |
| 6VA | 2VA | 85.6 |
更长的预训练上下文窗口带来持续收益。
生成质量与规划性能的正相关
作者发现，世界模型的生成质量（FID）和规划性能（PDMS）之间存在强正相关：
| 预训练 | FID ↓ | PDMS ↑ |
|---|---|---|
| 2VA | 9.847 | 84.1 |
| 6VA | 4.610 | 85.6 |
| MoVQGAN 上限 | 3.007 | — |
6VA 的生成质量（FID 4.610）远优于 2VA（FID 9.847），对应的 PDMS 也更高。这说明模型生成逼真未来图像的能力与其产生优质轨迹的能力直接相关——进一步验证了世界模型作为监督信号的有效性。
可视化分析
图5：反事实推理——行动条件仿真。记录的地面真值中，自车保持速度直行。通过给模型一个反事实的"减速"动作作为条件，世界模型生成了截然不同的视觉结果：车辆明显减速，周围景物流动变慢。这证明模型真正理解了动作与视觉动力学之间的因果关系。
图7：世界模型提升复杂场景中的轨迹规划质量。在交互密集场景中，TransFuser 和 VLA 基线常因缺乏场景动态预测能力而失败。VLA-W0 借助世界模型的预测能力，成功避撞。
图8：Flow Matching 与 AR 动作专家的轨迹对比（一）。FM 专家生成的轨迹在相邻帧间出现跳跃，稳定性较差；AR 专家则生成更平滑稳定的轨迹。
图9：Flow Matching 与 AR 动作专家的轨迹对比（二）。FM 专家再次出现不稳定现象，AR 专家表现出更一致的驾驶行为。
图10：Flow Matching 与 AR 动作专家的轨迹对比（三）。FM 专家在某些场景中甚至偏离可行驶区域，而 AR 专家始终保持稳定。这些可视化结果与 Table 4 中的量化数据一致——大数据 regime 下 AR 的稳定性和精度远超连续方法。
图11：失败案例分析——指令歧义。在 Y 形路口，“直行"指令变得模糊不清，模型无法确定走左支还是右支，最终犹豫地驶入分叉区域（红色轨迹）。这表明 NAVSIM 的离散指令集（仅左转/直行/右转）在复杂拓扑下缺乏足够粒度。
图12：失败案例分析——动态物体预测。世界模型在复杂交叉口的多个动态物体预测上存在挑战。本例中，模型未能预见对向车辆的出现在未来帧中，导致规划器错误地执行左转，与实际来车形成冲突。这指出了精细动态物体建模是未来有价值的研究方向。
图13：未来图像生成。世界模型展现出强大的生成逼真度，在多样化的挑战性场景（复杂交叉口、密集交通流）中生成视觉真实、上下文合理的未来画面。
图14：反事实推理。在路边给模型一个反事实的"右转"动作作为条件，世界模型生成了车辆偏离地面真值轨迹、驶入路外的逼真画面。这验证了模型学到了底层场景几何结构，而非简单记忆训练数据。
世界模型时间区间消融
| 预训练 | 微调 | 时间间隔 | PDMS |
|---|---|---|---|
| 6VA | VA | / | 82.9 |
| 6VA | 2VA | 4s | 84.3 |
| 6VA | 2VA | 1s | 85.6 |
1 秒的时间间隔是最优选择。过短（VA）缺乏时序信息，过长（4s）则帧间变化过大增加预测难度。
🔗 与 DriveVLM 的传承与进化
本系列第一篇 DriveVLM 用显式语言 CoT 把 VLM 的推理能力引入驾驶，证明了"理解驱动"比"感知驱动"更有潜力。DriveVLA-W0 沿着这条主线下一步，但走了不同的技术分支：
| 维度 | DriveVLM（SJTU×NIO） | DriveVLA-W0（CASIA×蔚来） |
|---|---|---|
| 推理形式 | 显式语言 CoT（描述/分析/提取/推理） | 隐式预测式（世界模型预测未来） |
| 核心目标 | 把 VLM 推理用于场景理解 | 给 VLA 补稠密监督、放大缩放律 |
| 架构 | VLM 慢系统 + 轻量快系统（双系统） | VLM 骨干 + 世界模型 + MoE 动作专家 |
| 动作输出 | 高层决策意图指导快系统出轨迹 | 端到端直接出连续轨迹 |
| 关键贡献 | 可解释性、长尾推理 | 数据缩放律、单目 SOTA |
| 监督密度 | 稀疏（决策/动作） | 稠密（未来图像） |
两者一个重”说清楚"（可解释的语言推理），一个重"学得深"（稠密的世界建模）。理想形态或许是二者融合：用世界模型把表征喂饱，再叠加语言 CoT 做可解释决策——这正是自动驾驶走向"理解驱动"的两条互补路径。
📝 个人思考
这篇论文最让我受震动的是它点破了一个反直觉的事实：大模型 + 大数据并不天然等于好效果，瓶颈往往在监督信号的密度上。一个 8B 的模型只用几维轨迹去训，就像用吸管喝大海——水很多，但喝不进来。世界模型预测未来图像，本质上是把"驾驶"这个低维任务，重新装订成"建模世界动力学"这个高维任务，让大模型的容量终于有用武之地。这背后的思想值得所有做"大模型落地垂直领域"的人借鉴：迁移的不是模型，而是要为它匹配密度的监督。
第二个启发是关于缩放律的"反转"。多数人相信"模型越大越好、解码器越复杂越好"，但 DriveVLA-W0 揭示了两个反转：预训练可能有害（基线）、简单解码器在大数据下反超复杂解码器。这提醒我们，很多架构优劣的结论是小数据下的幻觉，真正的工程选型必须在自己业务的真实数据规模上重新验证。Flow Matching 在小数据夺冠、AR 在大数据称王——这种"规模依赖的优胜"现象，很可能在机器人、具身智能等领域同样存在。
不过我也在思考一个问题：DriveVLA-W0 的世界模型分支，本质上是把"驾驶"重新定义成了"视觉生成+动作模仿"的多任务学习。但每多一个任务，就多一组超参数（α, β, 各阶段权重）。而这篇论文已经在用 7-8B 的骨干了，如果要扩展到 70B+，世界模型的计算开销会不会重新成为瓶颈？我认为现阶段"世界模型旁路"的设计是在 trade off 训练时耗和推理时耗，但 70B 级别的世界模型训练成本可能让很多团队望而却步。未来的方向可能是更轻量的世界模型——不是逐像素重建，而是学习场景级别的 latent dynamics（比如 Waymo 的 latent world model 方向）。
最后，“单目前视相机超越多相机 + 激光雷达"这个结果，对整个自动驾驶行业是一记警钟。它说明当模型真正"理解"了世界，传感器堆料的边际收益在下降。我倾向于认为，未来的竞争重心会从"谁的传感器更全"转向"谁能让模型学得更深”——而世界模型/生成式预训练正是那条把数据价值最大化的路径。DriveVLA-W0 给出了一个相当硬核的起点：稠密监督，才是打开大模型驾驶智能的钥匙。
另外，三个解码器的反转现象让我联想到一个更宏观的 pattern：在小数据 regime 下，inductive bias 更重要的方法占优（连续回归的空间平滑性）；在大数据 regime 下，表达能力更强的数据驱动方法占优（AR 的离散序列建模）。这个规律在 NLP（CNN → Transformer）、CV（ResNet → ViT）和 RL（DQN → MuZero）里反复出现。对从业者的启示是：判断一个技术方向，得先知道自己处在数据曲线的哪个位置。
🔗 延伸阅读
| 工作 | 团队 | 与 DriveVLA-W0 的关系 |
|---|---|---|
| DriveVLM | SJTU × NIO | 本系列首篇，语言 CoT 路线，理解驱动的"另一条腿" |
| LAW | — | 先驱性地用隐式世界模型做表征学习，本文用"预测未来图像"做更直接的稠密监督 |
| GAIA-1 / DrivingGPT | Waymo 等 | 世界模型作为"数据合成器"路线，本文则用作"自监督目标" |
| AutoVLA | — | 轨迹 token 化的自回归 VLA，本文 NAVSIM 主要对比对象 |
| π0 | Physical Intelligence | 通用机器人 VLA，Flow Matching 动作头；本文系统对比了 Flow Matching 解码器 |
| Emu3 / Qwen2.5-VL | 华为 / 阿里 | 本文的两种 VLM 骨干（离散 token vs 连续特征） |
| UniAD | Shanghai AI Lab | 本系列第三篇，BEV 端到端范式，本文的对立面与超越对象 |
📖 这是论文精读系列的第 4 篇。世界模型会不会成为自动驾驶的"下一道分水岭"？欢迎留言讨论。