技术博客

📄 论文信息 标题：DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models 来源：上海交通大学 × 蔚来（NIO） 关键词：VLM、场景理解、空间推理、双系统架构 一句话总结：用 VLM 做自动驾驶的"大脑"，理解场景 + 推理决策，再用一个小模型保证实时性。 🤔 要解决什么问题？ 传统自动驾驶 pipeline 能做检测、跟踪，但缺乏"理解"和"推理"能力： 能识别"前方有锥桶"，但不懂"因为施工所以要变道绕行" 能检测"雨天"，但不会推理"路滑所以要提前减速" 能看到"路口有交警"，但 …

一句话理解 VLA VLA = 看得懂图（Vision）+ 听得懂话（Language）+ 会做动作（Action） VLA（Vision-Language-Action）模型把视觉理解、语言推理和动作执行统一到一个端到端的神经网络里。它不是三个模块的简单拼接，而是一个模型直接从「图像+指令」输出「动作」。 理解 VLA 的关键在于它把大语言模型（LLM）的推理能力引入了控制问题——模型不仅能识别"前方有行人"，还能推理出"行人正在看手机、可能横穿马路，所以我应该减速"，并直接输出刹车/转向指令。 🚗 为什么自动驾驶需要 VLA？ 传统模块化架构的瓶颈 传统自动驾驶是模块化流水线： 摄像头 → …

📄 论文信息 标题：π0: A Vision-Language-Action Flow Model for General Robot Control 团队：Physical Intelligence（PI）— Sergey Levine、Chelsea Finn、Karol Hausman、Danny Driess 等 发表：RSS 2025（arXiv: 2410.24164，2024年10月首发） 关键词：VLA、Flow Matching、通用机器人策略、灵巧操作、基础模型 一句话总结：用预训练 VLM 做大脑、Flow Matching 做动作头，在迄今最大规模机器人数据集上训练，一 …

一句话理解世界模型 世界模型 = 让 AI 在脑子里"预演未来" 给它当前的场景和你要做的动作，它能告诉你**“接下来会发生什么”——下一帧画面什么样、前车会不会急刹、行人往哪走。更学术地说，世界模型学习的是一个动力学的转移函数**：在给定当前状态 $s_t$ 和动作 $a_t$ 的条件下，预测下一时刻的状态 $s_{t+1}$。 $$s_{t+1} = f_\theta(s_t,\ a_t)$$ 这里的 $s$ 可以是像素（视频帧），也可以是抽象的潜在表征，正是这一选择把世界模型分成了两大流派。 为什么需要世界模型？ 自动驾驶训练有个根本矛盾： 真实数据太贵：采集一辆车的数据成本高，且长尾场 …

📄 论文信息 标题：Planning-oriented Autonomous Driving（面向规划的自动驾驶） 出处：上海人工智能实验室 × 武汉大学 × 复旦大学（CVPR 2023 最佳论文奖，是该会议历史上首篇自动驾驶领域的最佳论文） 一句话总结：首次把感知、预测、规划全部统一进一个可端到端联合训练的网络里，并以规划为最终目标反向驱动所有任务，开创了显式端到端的新范式。 🤔 要解决什么问题？ 在 UniAD 之前，自动驾驶工业界几乎清一色采用分模块拼接的方案：检测 ➜ 跟踪 ➜ 在线建图 ➜ 运动预测 ➜ 占用预测 ➜ 规划与控制。每个模块单独训练、各自调优，最后用规则串联起来。 …

什么是"端到端"？ 端到端 = 传感器输入直接到控制输出，中间没有人工设计的模块边界 传统：感知 → 预测 → 规划 → 控制（四个独立模块，各管各的） 端到端：摄像头/雷达 → 一个网络搞定 → 方向盘/油门/刹车 “端"指的是输入端（传感器）和输出端（控制），“端到端"就是从输入直接到输出，一以贯之。严格来说，端到端自动驾驶希望用一个统一的神经网络，直接把多视角图像、激光雷达点云等原始信号，映射成车辆的控制指令（轨迹点、方向盘转角、油门刹车）。 需要注意的是，现实工业落地里的"端到端"是一个相对概念：从最纯粹的"图像到方向盘"到保留部分任务结构（感知、规划）的方案，都可以被叫作端到端。下文 …

📄 论文信息 标题：DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving 团队：中科院自动化所（CASIA / NLPR）× 蔚来（Yinwang Intelligent Technology） 发表：arXiv:2510.12796（2025 年 10 月首发，12 月更新 v2） 代码：github.com/BraveGroup/DriveVLA-W0 一句话总结：用一个"预测未来画面"的世界模型给 VLA 大模型补上稠密监督，让海量驾驶数据真正喂得进、学得动，单目前视相机就刷新了 NAVSIM 榜 …

一句话理解 Flow Matching Flow Matching = 学一个"风场"，让随机噪声顺着风飘到数据样本的位置。 扩散模型（Diffusion）是先加噪再去噪，路径弯弯绕绕；Flow Matching（流匹配）则是直接学一条把噪声"搬"到数据的直线路径。路径越直，跑完这条路需要的步数就越少，训练也就越稳。这就是它近两年在图像生成、动作生成、轨迹规划里快速取代扩散头的根本原因。 形式化地说，Flow Matching 学习的是一个速度场 $v_\theta(x,t)$，它告诉你在时刻 $t$、位置 $x$ 处，应该沿哪个方向、以多快的速度移动，才能从噪声分布 $p_0$（通常是高 …

📄 论文信息 标题：AlpaMayo-R1: Reinforcement Learning for Autonomous Driving Policy Optimization 关键词：强化学习、GRPO、驾驶策略、仿真闭环、行为审计 一句话总结：把 GRPO（Group Relative Policy Optimization） 引入自动驾驶策略训练，用组相对优势免去 critic、用多目标奖励对齐安全/舒适/效率，配合 AlpaSim 仿真与 AlpaAuditor 审计，把"开车"变成一个可奖励驱动、可审计、可迭代的 RL 闭环。 🤔 要解决什么问题：自动驾驶为什么需要 RL？ 当前自动 …

一句话理解 BEV BEV = 把多个摄像头的画面，统一"摊平"成一张俯视的鸟瞰图，让车在上帝视角下感知世界。 BEV（Bird’s Eye View，鸟瞰图）感知是过去几年自动驾驶视觉感知最重要的一次范式跃迁。它不再让每个摄像头各自为政地在 2D 图像上画框，而是把所有视角的图像特征"重投影"到一个统一的、以自车为中心的 3D/俯视空间里，在那里做检测、分割、预测。 理解 BEV 的关键在于它解决了一个根本矛盾：图像是透视的（近大远小、有遮挡），而驾驶决策需要的是度量空间（哪里有车、多远、多宽）。BEV 就是连接这两者的那座桥。 🚗 什么是 BEV，为什么自动驾驶需要它 什么是鸟瞰图 鸟瞰图 …

📄 论文信息 标题：Cosmos 3: An Omni-Modal World Foundation Model for Physical AI 团队：NVIDIA（黄仁勋 GTC 2026 主题演讲重磅发布，由 Cosmo 团队主导） 发表：2026 年（技术报告 + 开源权重同步放出） 关键词：世界模型、全模态、Mixture-of-Transformers、物理 AI、视频生成、具身智能 一句话总结：用一套 Mixture-of-Transformers 双塔架构把语言、图像、视频、音频、动作五模态揉进一个模型，让"看世界、听世界、动世界"在同一个权重里完成，并以宽松开源许可证释放给产业 …

📄 论文信息 标题：SparseDrive V2: Fully Sparse End-to-End Autonomous Driving 方向：全稀疏（Fully Sparse）端到端自动驾驶 一句话总结：用一组稀疏查询（sparse queries）把检测、跟踪、在线建图、运动预测、规划全部串起来，彻底抛弃稠密 BEV 特征图，在大幅降低计算量的同时把规划性能推到第一梯队。 🤔 要解决什么问题？稠密 BEV 的算力原罪 在 UniAD 之后，显式端到端几乎成了自动驾驶学术界的默认范式。但无论是 UniAD 还是 VAD，它们都建立在一个昂贵的地基上——稠密的 BEV（Bird’s Eye …

📄 论文信息 标题：DiffusionDrive: Real-Time End-to-End Multimodal Trajectory Planning for Autonomous Driving（实时端到端多模态轨迹规划） 团队：华中科技大学 × 理想汽车（Li Auto） 关键词：扩散模型、条件去噪、多模态轨迹、端到端规划、轨迹初始化 一句话总结：把轨迹规划重新定义成一个条件去噪过程，从噪声出发逐步"雕刻"出多条合理轨迹，用轨迹初始化先验和少步采样让扩散真正跑在车端，是生成式端到端驾驶的代表作。 🤔 要解决什么问题？为什么轨迹规划需要多模态？ 绝大多数端到端规划器都采用确定性回归：网络 …

📄 论文信息 标题：ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving 来源：华中科技大学 × 小米汽车（Xiaomi EV） arXiv：2506.08052 代码：github.com/xiaomi-research/recogdrive 模型：HuggingFace Collection 一句话总结：VLM 负责"理解与推理"，扩散模型负责"生成轨迹"，DiffGRPO 强化学习负责"安全优化"，三者合一。 🤔 要解决什么问题？ 现有把 VLM 用于自动驾驶的方法有三个致命问题： 问 …