技术博客

DiffusionDrive 将扩散模型引入自动驾驶轨迹规划，从噪声出发逐步去噪生成多条合理轨迹，解决了确定性回归的 mode averaging 痛点。它通过轨迹初始化先验和截断扩散策略大幅减少采样步数，让扩散规划真正跑在车端。在闭环评测中达到生成式端到端驾驶的领先水平。

数据是自动驾驶系统的燃料。本文系统梳理 2D/3D/Temporal 标注的规范与工具，介绍自动标注（auto-labeling）、NeRF/3DGS 数据生成等前沿范式，覆盖 nuScenes、Waymo 等主流数据集和 corner case 挖掘策略。

JEPA 是 Yann LeCun 提出的自监督表征学习框架，核心思想是在嵌入空间做预测而非重建像素，避免了对决策无关细节的浪费。它采用双编码器加预测器的架构，配合 EMA 目标编码器与 stop-gradient 机制实现稳定训练。在自动驾驶世界模型中已成为生成式方法的重要替代方案。

在线高精地图构建是自动驾驶感知的核心模块之一，它从传感器数据中实时重建车道线、边界、路口等道路元素。本文详解 HDMapNet、MapTR、VectorMapNet 等代表性方案的技术路线，覆盖分割→向量化、端到端 Transformer 解析、车道图构建，以及地图在规划中的约束作用。

SparseDriveV2 把'打分式规划'推向极致：把时空轨迹分解成几何路径✕速度剖面两份词表，用组合式构图构造出比此前稠密 32 倍的超密集轨迹词表；再配合'粗粒度分解打分 + 细粒度组合打分'的可扩展打分策略，让打分计算量与词表大小解耦。在 NAVSIM v2 上达到 90.1 EPDMS，位居打分式与生成式方法的 SOTA。

Flow-GRPO 将 Group Relative Policy Optimization 引入流匹配策略训练，让扩散/流匹配模型不再只靠模仿学习，而是能通过奖励信号自主探索更优的驾驶策略。它采用 ODE-to-SDE 转换与 Denoising Reduction 技术，在 SD3、FLUX 等模型上验证了有效性。为生成式模型在自动驾驶规划中的强化学习优化提供了全新范式。

3D 坐标系统是自动驾驶感知的数学基石。本文详解六大坐标系（世界、自车、相机、LiDAR、BEV、图像像素）的定义与变换关系，覆盖针孔投影、内外参标定、3D↔2D 投影流程，以及 BEVFormer 等模型中的坐标变换设计。理解坐标系统就等于理解了感知流水线的数学骨架。

NVIDIA Cosmos 3 用 Mixture-of-Transformers 双塔架构将语言、图像、视频、音频、动作五模态统一进单一世界基础模型。Reasoner 塔负责语义推理，Generator 塔负责高保真生成，两塔通过共享跨模态注意力深度耦合。在 8 项物理 AI 基准上取得开放模型第一，并以 OpenMDW-1.1 宽松许可证开源。

NAVSIM 是当前自动驾驶规划领域最重要的开环评测基准，几乎所有端到端新工作都在上面比拼 PDMS 分数。它基于 OpenScene 数据设计了非反应式仿真框架，以 PDMS/EPDMS 为核心指标抛弃传统 L2 误差思路。是端到端规划从学术研究走向工业落地的关键度量工具。

DriveVLA-W0 用世界模型给 VLA 大模型补上稠密监督，解决了大参数模型仅用稀疏轨迹信号训练的'监督赤字'问题。它同时预测未来动作和未来图像，用像素级稠密监督逼模型学懂物理动力学。单目前视相机即刷新 NAVSIM 榜单，证明了'世界模型放大数据缩放律'的路线可行性。

训练VLA模型远远不止'用DeepSpeed跑起来'这么简单，当模型规模从7B增长到70B参数时，显存瓶颈和通信开销会逼你深入理解每一个训练技巧的原理和trade-off。本文从混合精度训练（FP16 vs BF16 vs FP8的精度缩放策略）、梯度检查点（selective checkpointing vs full checkpointing vs recomputation profiling）、activation offloading（CPU offloading vs NVMe offloading）、序列并行（Ring Attention + sequence parallelism + context parallelism）四个核心技巧展开，配合VLA特有的多模态编码器训练优化，给出实用的训练配置建议与常见调优诊断方法。

全球自动驾驶行业已形成中美两强的竞争格局，不同公司的技术路线选择反映了对'什么是正确的自动驾驶'的深层假设差异。本文从感知架构（BEV vs 占据网络 vs 端到端）、规划方法（规则+ML hybrid vs 纯端到端）、数据策略（真实数据 vs 仿真数据 vs 生成数据）、系统架构（模块化 vs one-model）四个维度，深度对比Tesla FSD、Momenta、华为ADS和小鹏XNGP的技术异同，并分析各路线在2026年的收敛趋势。

VLA模型从2023年的RT-2到2026年的GR-3经历了三代演进。本文系统对比15+主流VLA模型的核心设计选择：动作表征（tokenization/连续控制/扩散策略）、视觉编码器架构、LLM backbone选择、以及训练范式（预训练→指令微调→RLHF）。重点分析pi0的Flow Matching动作头、GR-3的CoT推理与自回归架构、BridgeVLA的桥接监督等前沿技术路线。

仿真测试是自动驾驶安全验证的核心手段，但搭建一套好用的仿真测评系统远比想象中复杂。本文讲解主流仿真器的选型对比（CARLA/MetaDrive/NVIDIA Isaac Sim/AlpaSim）、传感器仿真与渲染管线、SIL（Software-in-the-Loop）与HIL（Hardware-in-the-Loop）测试架构、场景编辑器构建与参数化场景生成、以及大规模并行仿真与回归测试的工程落地经验。

自动驾驶系统的每次路测都会产生大量bad case，如何从海量数据中系统化地分析模型失败的根因是一项关键工程能力。本文讲解failure analysis的方法论框架：场景分类taxonomy（感知失败/预测失败/规划失败/控制失败）、故障归因的ablation策略、场景还原与仿真复现、长尾场景的systematic discovery（基于聚类/基于异常检测/基于对抗搜索）、以及建立持续性的bad case追踪与回归防御体系。

ROS/ROS2是自动驾驶和机器人领域的行业标准中间件，但研究新手往往低估了它的重要性。本文从发布-订阅模型出发，讲解ROS2的核心概念（node/topic/service/action）、DDS通信中间件的QoS策略（reliability/durability/deadline）、TF坐标树与消息同步、rosbag的数据录制与回放，以及自动驾驶系统中常用的消息类型栈（sensor_msgs/nav_msgs/visualization_msgs）。

端到端自动驾驶面临评测成本高、场景覆盖有限、难以复现的瓶颈。X-World 提出了一种以自我为中心的多视角生成式世界模型，通过动作条件化的多相机视频生成实现可控闭环仿真，在动作跟随度、跨视角一致性和长时序稳定性上取得了突破性表现。论文详细设计了两阶段级联训练策略、视角-时序自注意力机制和异构条件注入方案，为 VLA 系统的可扩展闭环评测与仿真训练提供了完整基础设施。

现有 World Action Model 仅通过输出端损失间接塑造中间表征，导致世界知识无法有效传递到规划模块。ReWorld 首次提出面向自动驾驶 WAM 的表征学习框架，通过未来预测监督、跨模态对齐和硬负样本排斥三个维度直接优化中间表征，在 nuScenes 上将 FVD 从 81.3 降至 61.9（降幅 23.9%），在 NAVSIM 上将闭环 PDMS 从 89.1 提升至 90.4 且无需 RL 后训练。

端到端自动驾驶规划器的训练（模仿单条轨迹）与评测（规则化指标）存在根本性错配。CLOVER 提出轻量级生成器-打分器架构，通过构造评估器过滤的伪专家轨迹实现集合级覆盖训练，再以保守闭环自蒸馏交替优化生成器与打分器。在 NAVSIM 上达到 94.5 PDMS 和 90.4 EPDMS，刷新 SOTA，并提供了不完备打分器仍能提升生成器的理论保证。

WorldVLA 提出统一的自回归动作世界模型，将VLA与世界模型融合在单一LLM框架中。通过三种模态的离散token共享词汇表实现图像/文本/动作的全统一，并提出动作注意力掩码解决长序列动作块的误差累积问题。在LIBERO基准上动作成功率提升4%、FVD降低10%，证实世界模型与动作模型的双向增强。