技术博客

一、为什么写这篇文章 本博客陆续精读了 100+ 篇自动驾驶与机器人模型论文——从感知基座（BEVFormer/Sparse4D），到显式端到端（UniAD/VAD/SparseDrive），到打分式（CLOVER/Hydra-MDP/GTRS），到扩散与 Flow 生成（DiffusionDrive/TransDiffuser/GoalFlow），再到 VLA 大模型（DriveVLM/EMMA/AutoVLA/LinkVLA）与世界模型（Cosmos/DriveFuture/WoTE）。单独看是逐篇精读，放在一起，端到端自动驾驶在 感知 → 预测 → 决策 → 规划 四个架构维度上的演进脉络其实非常清晰。 这篇文章把博客里所有精读过的模型收进同一个坐标系，回答三个问题： 感知：从稠密 BEV 到稀疏 query 再到纯视觉 token、几何寄存器，一路在换什么？ 预测/决策/规划：从显式管线到打分排序、扩散生成、Flow 整流、LLM 推理、世界模型 roll-out，谁在取代谁？谁融合了谁？ 谁真正有效：把彼此在 NAVSIM 上的 PDMS/EPDMS 分数和架构创新对照起来，看看分数到底来自技巧还是来自架构。 本文每个模型给"流派 → 核心创新 → 架构拆解（骨干/模块/输出/训练） → 代表分数“四个维度，尽量讲清楚架构；分数严格区分官方排行榜与 arXiv 自报，口径不一致处会注明。机器人侧的 VLA 模型（RT 系列、π0）作为同源背景单列一节——它们定义了「动作 token」「动作分块」「Flow 动作头」这三个被驾驶侧反复借用的组件。 二、先立坐标系：六大流派一张图 按「感知表征 × 规划输出方式」两个维度，我把博客里的方法归为六大流派： 流派 代表模型 核心思想 感知表征 规划输出 ① 显式端到端管线 UniAD、VAD、VADv2、SparseDrive、PARA-Drive、DriveTransformer、TransFuser 感知/预测/规划在同一个可训练网络里串起来 稠密 BEV / 稀疏 token / 寄存器 单条/多条轨迹回归 ② 评分排序式 (Scoring) CLOVER、Hydra-MDP、GTRS、SparseDriveV2、TOAD、GoalFlow 大量生成候选，再学打分器（或用搜索/流）选出最优 稀疏特征 / 轨迹词汇表 / 目标点 从候选集合中选 Top-1 ③ 扩散/Flow 生成式 DiffusionDrive、DiffusionPlanner、TransDiffuser、SafeDiffuser、FeaXDrive、Gen-Drive 把规划当成从噪声里生成（DDPM / Flow Matching / 整流流） 稀疏感知 / BEV / 图像 多模态轨迹生成 ④ VLA 大模型式 DriveVLM、EMMA、AutoVLA、LinkVLA、OneVL、LaST-VLA、WCog-VLA LLM/VLM 做感知+推理+决策，语言或 token 输出动作 视觉 token / 稀疏 query / 隐 token 语言决策 / 轨迹 token ⑤ 世界模型式 Cosmos、DriveFuture、WoTE、DreamerV3、DLWM、RAW2Drive、ReWorld 建模环境动力学/未来状态，以未来为条件或打分规划 隐潜 / 视频 token / BEV 未来帧 条件化/打分/rollout 规划 ⑥ 数据与评测基建 Bench2Drive、CARLA、K-Risk、MOSAIC、重卡数据集族 提供闭环基准、数据选择、仿真、安全分析 — — 一句话直觉：① 是"手拉手串行提线木偶”，② 是"多打几遍再挑"，③ 是"从噪声里一遍遍画"，④ 是"读得懂交规再动手"，⑤ 是"先在脑内模拟未来再决定"，⑥ 是"让前面所有流派有地方比"。六大流派不是互相淘汰，而是逐层叠加——今天最强的系统几乎都是 ②③⑤ 的混合。

0. 写在前面：我们需要一份"会晒黑的评测" 现阶段启用的 benchmark 大多默认天气晴朗、光照良好、纹理干净，视觉端到端模型的感知在这个"温室"里表现优秀。但当复用习惯了晴天的视觉 planner 进入真实世界——阴雨路面积水反光、雪天车道线被覆盖、黄昏光照死黑——它的 No-at-fault Collision 和 Drivable Area Compliance 往往断崖式下跌。“能不能开"和"换了个风格还能不能开"是两种能力。 课题组这一轮想做的，就是用 Cosmos（NVIDIA 的世界基础模型）做光照/天气/纹理的风格迁移（rain / snow / 日夜 / 模糊），在不改变场景拓扑、导航指令和 agents 语义的前提下，把同一份 NAV 场景"换皮”，得到一组视觉域被扰动、但语义标签不变的评测集，然后再跑纯视觉 end-to-end 模型在 NAV 上的 PDMS。这样我们拿到的不只是一个数字，而是一张"模型在位姿、外观扰动下的鲁棒性画像"，可以回答：哪个模型在风格漂移下最硬？哪个只在晴天强？ 0.1 选型逻辑：为什么是这 11 个 入选标准明确，缺一不可： camera-only（纯视觉）：必须只吃相机输入，不能依赖 LiDAR 点云。这样"风格迁移只改图像"才能干净地、真实地作用到模型输入上。 NAV 可跑：官方有 NAV 相关权重或可复现配置，能进入我们的批量评测管线（Agent API 封装）。 论文开源：能从 arXiv 拿到原文架构与打分细节。 覆盖技术谱系：从规则化生成型（LTF）到高分辨率稀疏语义 (SparseDriveV2)、proposal 中心式（iPad）、扩散/飞流式（DrivoR、Drive-JEPA、DriveLaW）、再到 VLA 语言世界模型（ChainFlow-VLA、AutoVLA、ReCogDrive、DriveVLA-W0）——我们想测的是"在哪一种范式上，风格迁移造成的伤害最小"。 于是，最终敲定了下面 11 个：SparseDriveV2、iPad、DrivoR、ChainFlow-VLA、AutoVLA、ReCogDrive、DriveVLA-W0、Drive-JEPA、DriveSuprim、DriveLaW、LTF（Latent TransFuser）。 下面我会给每个模型：一句话定位 → 架构解读（附 arXiv 原文架构图）→ 官方资源（仓库/HF）→ 评测配置 → NAV 得分 → 在我们风格迁移评测里值得画的重点。

把平时刷到的优秀自动驾驶博客/资源链接集中存到这里，避免日后找不到。主打一个'少逛、逛精'——每篇能持续产出高质量内容才放进收藏。持续更新。

参考'少读要比乱读强'的思路，把我论文精读区的文章按'地基→BEV感知→端到端→世界模型→扩散+强化学习→VLA'六层金字塔组织起来。顺着层往上走，每层解决上一层留下的问题，最后落在 VLA/世界模型这些前沿范式上。这是本站论文精读的总入口。

从 train_flux_fast.py 第 1 行开始，逐层追踪 Flow-GRPO 的完整逻辑链：采样阶段做了什么？reward 怎么变成 advantage？训练阶段的计算图是怎么构造的？loss 为什么那样设计？梯度如何从最后一个 log_prob 传到 LoRA 参数？每段代码都标注了源文件行号。

PARA-Drive 系统性地探索了端到端模块化自动驾驶的设计空间，提出完全并行的架构——感知、预测、规划模块同时训练、同时推理，互不依赖。在 nuScenes 上 L2 误差降低 28.8%、碰撞率降低 43.3%，推理速度提升近 3 倍，被 CVPR 2024 接收。

TransFuser 在 CARLA 上首次验证了 Transformer 做多模态传感器融合的可行性——用自注意力让图像和 LiDAR 特征在多个分辨率上密集交互，取代简单的几何融合。在 CARLA Leaderboard 和 Longest6 基准上以显著优势领先此前所有方法，将碰撞率降低 48%。

DriveTransformer 彻底抛弃了 BEV 表示——不再构建稠密 BEV 特征，而是让任务 query 直接与原始传感器特征交互。三种注意力（Sensor Cross-Attention、Task Self-Attention、Temporal Cross-Attention）构成统一框架，支持单阶段端到端训练。在 Bench2Drive 闭环评测中以 63.46 Driving Score 大幅超越 UniAD（45.81）和 VAD（42.35），且在鲁棒性上碾压 BEV 方案。获 ICLR 2025 接收。

读论文时被各种 Loss 搞晕了？L1、L2、Focal、KL 散度、碰撞 Loss、GRPO……为什么同一个任务在不同文章里用的 Loss 不一样？这篇文章帮你把端到端自动驾驶里的所有损失函数理清楚——每种 Loss 的数学形式、直觉理解、适用场景，以及它们之间的演进关系。

「NVIDIA Cosmos 3 用 Mixture-of-Transformers 双塔架构把语言、图像、视频、音频、动作五模态统一进一个世界基础模型。本文从 NVIDIA/cosmos-framework 源码出发，面向零基础读者逐文件讲透 MoT 双塔（PackedAttentionMoT / MoTDecoderLayer 的 dual-QKV/proj 设计）、DCAE 视频 tokenizer（4×32×32 因果 VAE）、Rectified Flow 训练（logit-normal 时间分布 + MSE 向量场损失）、序列打包（und/gen token 混排）、以及推理管线（35 步 UniPC 调度 + 多模态生成），最后与 pi0 / Diffusion Planner / AlpaMayo-R1 对照」

DrivoR提出了一种极简的纯Transformer端到端自动驾驶架构，利用ViT寄存器token将多相机视觉特征压缩为紧凑场景表示，仅需~40M参数即可在NAVSIM和HUGSIM上达到SOTA。

iPad提出了一种以轨迹提案为中心的端到端自动驾驶框架，通过ProFormer迭代式精炼稀疏BEV提案，替代了传统的密集BEV网格范式，在NAVSIM和Bench2Drive上达到SOTA且计算效率提高10倍以上。

本文从虚实对齐的视角全面综述具身智能，系统分析了具身感知、具身交互、具身智能体和仿真到真实迁移四大研究方向，深入探讨了多模态大模型在虚拟和现实具身智能体中的应用。

本文从形态、动作、感知与学习四个维度的协同关系出发，系统综述了具身智能的研究进展，强调智能是大脑、身体与环境紧密耦合的产物，并提出了统一的具身智能框架。

首篇系统性综述视觉-语言-动作（VLA）模型的文章，从组件、控制策略和任务规划三个维度全面梳理了VLA模型的技术脉络，涵盖CLIP/R3M/DINOv2等视觉表征、RT-1/RT-2/OpenVLA等控制策略、SayCan/Code as Policies等任务规划方法，并深入探讨了安全、数据集、基础模型等挑战与未来方向。

LeRobot是HuggingFace推出的开源机器人学习库，覆盖从底层电机控制到大规模数据集收集、存储和流式传输的完整栈，支持多种低成本机器人平台和SOTA学习算法。截至2025年9月，社区已贡献16K+数据集和数百个预训练模型，形成了去中心化的机器人数据收集生态。

MOO利用预训练视觉-语言模型将自然语言指令与视觉物体定位相结合，实现了对从未见过的物体类别的零样本操作泛化，在真实机器人上达到约79%的成功率。

VIMA提出了一种统一的多模态提示接口，将多样化的机器人操作任务转化为序列建模问题。通过Transformer编码器-解码器架构和物体中心表示，VIMA在零样本泛化设置下任务成功率最高提升2.9倍。

EmbodiedGPT 是由中国科学院上海AI实验室、香港大学等机构提出的端到端多模态具身基础模型，通过创新的'具身思维链'（Embodied Chain of Thought）范式，将视觉-语言预训练与具身规划紧密结合。该模型构建了大规模EgoCOT数据集，实现了从高层规划到低层控制的闭环系统，在具身规划、控制、视频描述和视觉问答等多个任务上取得了优异性能。

UniSim 是由 Google DeepMind、UC Berkeley 和 MIT 联合提出的通用真实世界模拟器，通过生成式建模将互联网图像、机器人操作、人类活动等异构数据统一到一个动作输入-视频输出的框架中。该模型能够模拟从高层语言指令到低层机器人控制的各种交互，在视觉-语言规划、强化学习和视频描述等任务上实现了零样本真实世界迁移。