论文精读

World4Drive 是首个将多模态驾驶意图与物理隐世界模型结合的端到端框架，无需 3D 框/高精地图等昂贵感知标注。它借 Grounded-SAM 的语义先验和 Metric3D 的深度先验构建’懂物理’的隐空间，让模型在多种驾驶意图下想象未来、用世界模型打分选最优轨迹。L2 误差降 18.1%、碰撞率降 46.7%、收敛快 3.75 倍，被 ICCV 2025 收录。

PARA-Drive 系统性地探索了端到端模块化自动驾驶的设计空间，提出完全并行的架构——感知、预测、规划模块同时训练、同时推理，互不依赖。在 nuScenes 上 L2 误差降低 28.8%、碰撞率降低 43.3%，推理速度提升近 3 倍，被 CVPR 2024 接收。

这份 47 页的综述首次为自动驾驶 VLA 建立了系统形式化与分类法，从 VA（视觉-动作）到 VLA（视觉-语言-动作）理清演进线。它提出端到端 VLA 与双系统 VLA 两大范式分类，并统一梳理了动作空间四分法、数据集基准与评测协议。是当前自动驾驶 VLA 领域最权威的架构脉络地图和未来挑战指南。

TruckV2X (IEEE RA-L 2025) 是首个以半挂重卡为中心的 V2X 多模态多智能体协同感知数据集，用 CARLA 仿真构建 64 个场景、88,396 帧点云、百万图像、118 万 3D 框，覆盖牵引车-挂车-CAV-RSU 四类智能体，系统性揭示重卡因车身长、挂车摆动、转弯内侧盲区而对车路协同的刚需。

DiffusionDriveV2 将强化学习引入截断扩散模型，提出 Intra-Anchor GRPO 和 Inter-Anchor Truncated GRPO，解决了 DiffusionDrive 中多样性与一致高质量之间的根本矛盾。在 NAVSIM v1 上达到 91.2 PDMS，v2 上达到 85.5 EPDMS，均创下新纪录。

ACT+ALOHA 用不到 2 万美元的开源双臂遥操作平台解决了精细双臂操控的数据获取难题。ACT 采用动作分块（Action Chunking）+CVAE Transformer 的抗复合误差策略，将模仿学习精度推至新高度。ALOHA 的低成本同构主从机械臂设计为具身智能数据采集建立了新范式。

ICVES 2025 论文 Longitudinal Safety Distance Control Considering Cargo Load for Autonomous Heavy-Duty Vehicles 指出经典 RSS 安全距离模型假设车辆质量恒定，忽略了货物载荷，导致满载重卡制动距离更长、RSS 给出的安全距离不足而撞车。本文从 RSS 公式出发，讲清质量/载荷如何修正制动距离，并呼应博客 nuTruck 一文：现有 benchmark 不把质量/动力学安全作为指标。

斯坦福+清华《Ctrl-World: A Controllable Generative World Model for Robot Manipulation》（arXiv 2510.10125，ICLR 2026，Chelsea Finn 组，Yanjiang Guo / Lucy Xiaoyang Shi 共同一作）精读，含官方 GitHub 全解：核心命题——VLA 的评测与改进太贵（真机 rollout + 专家标注），改到「想象空间」里做 policy-in-the-loop。三个支撑件：①联合多视角预测（含腕部相机，治好单视角幻觉与「手腕视野剧变」不一致）②帧级动作条件（厘米级动作控制，1 秒动作块逐帧注入）③位姿条件记忆检索（20 秒+ 长程连贯）。从 SVD 视频扩散模型初始化，DROID 95k 轨迹/564 场景训练。两大用途实测：A) 想象中排名=真机排名——π0/π0-fast/π0.5 在 7 任务上真机 vs 世界模型指令跟随相关 y=0.87x−0.04、成功率 y=0.81x−0.11；B) 合成成功轨迹做 SFT，策略成功率平均 +44.7%（Spatial 0.29→0.88、Shape 0.44→0.93、平均 0.39→0.83）。官方仓库 Robert-gyj/Ctrl-World（575★，MIT，含 VLAW 后训练管线）四条跑法逐命令讲解：DROID 回放、键盘交互、π0.5 策略进环（零样本到新场景）、论文评测协议；训练/后训脚本与 ckpt 清单全解。深度原理全覆盖：问题形式化两方程、SVD 底座训练目标与超参（3层MLP动作投影、token 账本 B×12×2880、100k步2×8H100）、三改造机制、关节速度→笛卡尔位姿的 2 层 MLP 适配器桥、Table1/2 质量与消融数字、Algorithm 1 逐行（400 条 rollout 留 25–50 条、2k 步微调、38.7%→83.4%）、四条创新点与「三宗罪」靶子、DROID 数据集专节（95,599 轨迹/76k 成功+19k 失败/564 场景与失败数据为何是资产）、六组实验总目录 E1–E6 与附录逐任务对照表节选。9 张论文插图逐图讲解 + GitHub 演示媒体（README 横幅、2 个真机 vs 世界模型长程 GIF、2 组三视角合成轨迹 mp4）全部贴进博客。

UC Berkeley《SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model》（arXiv 2610.28480，CoRL 2026 Oral，Qiayuan Liao / Yiyang Shao / Junfeng Long…Pieter Abbeel、Koushil Sreenath）精读：与 具身 RL 调研里的 SONIC 同赛道（大规模动捕跟踪），但把「模型免费 PPO 碾算力」换成「一个可微世界模型摊销全部动作」。核心洞察：千差万别的动作共享同一套人形混合刚体动力学——用一个从仿真日志拟合的可微世界模型学这份共享结构，短视野想象 rollout + 穿模反传（BPTT）给策略解析梯度；世界模型比 MuJoCo Warp 批量快 10×+，8 步预测误差在 1→264 小时数据上保持稳定。结果：1×H100 3 小时超过 SONIC 发布 checkpoint 的 0.90 归一化回报（>50× 墙钟、>1000× GPU 时：3 vs 21k）；129,514 条基准动作失败 25 条 vs SONIC 179 条（含其全部翻转与侧滚），双卡 9.8 小时清零；真机 Unitree G1 全动作库零逐动作调参；速度编码器下游接口 RL 训练胜过蒸馏基线。官网 supermimic.github.io 给出完整算力账本与 FAQ。GitHub 侧（重点讲解）：官方代码确认未放出，但论文 10-20 投稿、次日即现复现潮——事实标准 supermimic_vibed（706★，ETH 非官方、自述 1 小时 vibe-code、Isaac Lab 3+MuJoCo-Warp、LAFAN1 单卡 1.47h 达 0.829/0 失败）领跑，另有 awesome-supermimic 目录（312★）、Motphys/Uni-SuperMimic（195★，UniLab 三后端，LAFAN1 0.827、BONES-SEED 12.9 万条 0.9243/失败 0.27%）、CuboiLeo/SuperMimic-Reproduced（308★，论文逐条转录+5090 1.66h 复现 0.82）与向灵巧手/四足/机械臂外溢的改造潮。逐图讲解全部 9 张插图（论文 7 + 官网 2）。

高德地图 CV Lab（阿里）《ABot-AgentOS》（arXiv 2607.10350 v3）精读，含小白开篇：先 5 分钟讲清「具身机器人大脑系统」是什么（VLA=小脑，大脑=听懂话/拆任务/调度/记忆/验证；OS 类比：技能=进程、记忆=内存、工具=文件系统），再进论文。系统五件套：①边云双 LLM（端侧 Tiny 模型管每回合，按需升级云端大模型）②Agent Harness——场景条件规划 + Skill Runner 程序化执行 + 三阶段验证（运行中/技能级/收尾）+ 感知推理循环 ③Universal Multi-modal Graph Memory——把对话/视觉观测/空间/时间/任务轨迹变成带类型节点边的持久图 ④失败驱动终身自进化——失败→诊断→带门控的 evo-assets 只准用于后续 split（防当前题泄漏）⑤可部署学生策略训练（文本环境+教师轨迹蒸馏 SFT + LLM-as-Judge 在线 RL + GiGPO 优势）。自带基准 EmbodiedWorldBench：16 场景（室内/室外/混合）× 4 难度 × 200+ 任务，指标 TSR/GCR，UnrealZoo NavMesh 执行。结果：同模型下架构使 TSR 49.97%→61.96%、GCR 57.95%→68.79%（+11.99/+10.84），换 DeepSeek-V4-Pro 再到 68.18%/74.62%；记忆基准 LoCoMo 87.5→88.7、OpenEQA 59.9→60.4、Mem-Gallery 88.6→89.0、NExT-QA Acc@All 76.5。逐张讲解全部 8 张插图。

智元（AGIBOT）2026-10-29 创新日发布新一代具身基座模型 GO-3 Preview——截至发文尚无 arXiv 技术报告，本文基于 PR Newswire 官方通稿、RAN 行业媒体现场报道、36氪/网易快讯与官方 GO 家族公开资料做全景解读。核心：GO-3 Preview 围绕 **WRAM（World Reasoning Action Model，世界-推理-动作模型）**统一推理、预测与动作，能预判动作后果、适应环境变化、泛化到未学任务序列；演示零/少样本能力；提出 Physical Intelligence Scaling（预训练+后训练+部署后持续改进的全链路规模化）——约 90% 预训练数据来自人本第一视角视频（HTX/marsbit 技术解读），后训系统 Genie Evolver 融合真机、物理仿真与世界模型；桌面冰壶任务数小时练习后胜过普通人类玩家，LEGO 少样本组装、跨本体操作、数百任务开箱。榜单宣称（活动口径）：RoboDojo 任务成功率与过程分双第一、RoboTwin 总分第一、RoboColiseum 总分第一。血缘：GO-1（ViLLA，AgiBot World Colosseo，arXiv 2503.06669，1M+轨迹开源）→ GO-2（动作链思维）→ GO-3 Preview（全链路规模化）。开源计划：2026 年底全面开源 GO-3 Preview 与具身 Agent 框架 Genie Master（后者宣称首次真机验证 Physical RSI 递归自进化）。同场发布 Worken（Work+Token 生产力度量）、AHA3 硬件平台、AGILE 运动智能、WITA-Omni 交互模型、G2 Max、Link-U OS 1.0。收录现场图 8 张 + GO-3 便利店任务演示 GIF（50 帧）+ GO-1 血缘 teaser，逐图讲解。

北京大学 + 北京智源人工智能研究院等《RoboOS-NeXT》（arXiv 2510.26536）精读，含小白开篇：先用 5 分钟讲清「什么是具身机器人大脑系统」（VLA 是小脑，大脑负责拆任务/调度/记忆/验证，记忆就是团队共享白板），再进论文。核心是 Spatio-Temporal–Embodiment Memory（STEM）——把空间场景几何、时间事件史、本体档案揉成一份所有机器人共享的统一记忆；其上是「大脑（高层规划，检索/更新 STEM）-小脑（低层技能库+工具调用，低延迟执行）-记忆」闭环。工作流四阶段：全局任务分解 → 拓扑式子任务分配 → 分布式子任务 Agent → 动态记忆更新。评测三场景（餐厅/超市/家庭）×难度 L1–L3 ×序列长 SQ1/3/5，指标 MSR/AEST/SR/SS：无记忆基线在 SQ=5 时崩盘（餐厅 L2 0% vs 本文 75%），本文 AEST 普降 20–70%、L3 仍 MSR +63.5%（超市）/+58.3%（家庭）；同构 3/5 轮机器人编队 AEST 再降 58%/76%；失败分析显示 45.3% 错误来自工具调用。逐张讲解全部 4 张插图（含真机餐厅/家庭/超市演示）。

WorldScape Policy 2.0（Manifold AI + 清华 + 上交，arXiv 2607.18840）精读：可操控 WAM，核心是「推理增强的长短期记忆」——因果短期视觉记忆把最近观测作为 DiT prefill 保住局部动力学；长短期事件记忆把历史 VLM 输出组织成 global-history / local-active / event-boundary，按进度检索并门控进当前推理；semantic forcing 把事件级指令语义灌进隐式规划路径。预训练数据 ManipEvent-5M 近 500 万事件段，对齐动作轨迹、整段指令、子任务字幕、目标图像与视频演示。RoboTwin 2.0 干净+随机平均 94.3%（比 π0.5 高 14.5 pp），C2R 60.1%；真机双臂 PiPER：折叠 75%、桌面清理 80%、shell game 75%、示范条件积木 60–70%。RoboDojo 榜单上 WorldScape-R2SI 39.35% SR / 46.6 progress，Memory/Open 分类是学习型最强（63.7% / 47.5%）。逐张讲解全部 11 张插图。

OpenWAM（NUS/清华/北大/港大等，arXiv 2609.07398，openwam-official.github.io）精读——注意与站内已写的斯坦福 OPENWAM（2610.07922）是两篇不同论文！本篇范式一句话：把「世界-动作模型（WAM）怎么设计」从一坨耦合实现变成受控实验程序。三层栈：①OpenWAM-Infra——4 视觉编码器×5 视频骨干×6 架构变体×4 注意力掩码的可组合模块，一个训练器/一个 WebSocket 策略服务器/一套仿真+真机评测协议，80 维统一动作空间（2×34 维臂块+24 维灵巧手+12 预留）；②OpenWAM-Study——六问（Q1 架构/Q2 骨干/Q3 视觉表示/Q4 视频-动作交互/Q5 预训练配方/Q6 去噪策略）受控实验，三结论：足够强的生成骨干+紧凑信息密潜空间继承上游知识、显式世界→动作信息流+同步联合去噪才是协同、具身预训练主要涨 OOD（人本第一视角×机器人单阶段共训最优、互见掩码胜出）；③OpenWAM-α——按配方落地：Wan2.2-TI2V-5B + ActionDiT 双系统、30 成对层联合自注意力、互见掩码、冻结 VAE/umT5，518.5M 帧（6,369h，70% 机器人/30% 人本）。成绩：八基准九榜——LIBERO 99.3、RoboTwin2.0-Full 93.60、Clean2Random 69.0、LIBERO-Plus 69.2（该榜 Qwen-RobotManip 89.0 更高，诚实记上）、EBench 49.4、RoboCasa-GR1 60.5、VLABench 58.9、RoboCasa365 38.2、RoboDojo 11.92；真机单臂 82.5%、双臂 RoboDojo 37.6/24.4、灵巧手 90.0。逐图讲解全部 14 张插图（官网 overview/architecture 原图 + 论文 PDF 裁剪）。

EmbodiedEvo（Navers Lab / Einsia.AI / 清华，arXiv 2610.18867）精读：不是训练 VLA，而是让 coding agent（Astra/Sol/Luna）在单个 Playground 场景里边跑代码边沉淀可复用的 Skills（控制过程）与 Lessons（失败模式/恢复经验），把 harness 冻结后交给全新 Test agent，在未见过的布局上直接用。RoboDojo-Sim：平均 44.48 分 / 37.82% 成功率，超越当时全部官方已验证结果；Memory 类任务 71.90/69.67%（下一名 VPP2 仅 55.56% SR）。Astra 的经验还能迁给更弱的 Sol/Luna（+8.86 / +5.50 pp）。Skills/Lessons 相比原始交互历史，同等性能下 Test 阶段执行成本低 53%。逐张讲解全部 15 张插图，覆盖总览、方法框架、失败轨迹、能力演化、经验迁移与代码示例。

GR00T N1.7 技术报告（arXiv 2609.18108，CC BY 4.0）精读：把英伟达 GR00T N1.7 的迭代流匹配 DiT 动作头替换为「一步漂移动作头」（继承 IDP 目标：几何加权势能 + 零动作种子单次前向吐完整 H=40 动作块），并实现 DrifOv 重叠条件后缀生成（已承诺前缀逐坐标原样拷贝、只生成未知后缀，供异步换块用）。实测（LIBERO / LeRobot 栈、2×A800、20k 步、种子 1/42/1000）：动作头 45.3→5.0ms（约 9×），backbone+头 70.0→30.6ms（2.2–2.4×），GPU 训练显存观测 45.7→17.8 GiB；但成功率系统性下滑——Spatial 64.0±4.0% vs GR00T 82.3±6.8%、Goal 52.0±1.0% vs 82.3±4.0%、Long 26.0±2.6% vs 74.5±10.6%，三种子方差极小 = 退化是系统性的。报告给出四个候选解释（确定性一步的模式平均、minibatch 几何估计、H=40 开环执行、同步评测没测到异步重叠路径）并明确「不宣称整体改进，只报速度-成功率权衡」。含英伟达官方 GR00T N1.7 背景（3B、Cosmos-Reason2/Qwen3-VL、Apache 2.0）。逐张讲解全部 6 张插图。

斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》（arXiv 2610.07922，Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队）精读：现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程，导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发，在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练（32×B200 训 14 天、不用动作标签），再用共享 Mixture-of-Transformers 接入 2B 动作专家，同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式：VTA 在 LIBERO 四套件平均 98.6%，原始 Wan2.2 初始化只有 68.4%（+29.4 分）；双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」：逆动力学（IDM）与前向动力学（FDM）只看当前观察+本体感觉+给定轨迹、不看语言与历史，并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据（LIBERO-Long-CF，监督量 29.7×）——冻结的局部 IDM 配合「只调过视频预测器」的新任务，四个 LIBERO-90 迁移目标平均 84.0%，对比全上下文 47.0% 与纯演示 21.5%；FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练（92.8%）。逐图讲解全部 5 张图。

一篇调研讲清「具身智能的强化学习」：先小白开篇（奖励从哪来、为什么难：重置/稀疏/sim2real/大模型不稳），再给四条战线全景地图——①底层运动控制 RL：SONIC（Science Robotics 2026，arXiv 2511.07820）把「运动跟踪」当可扩展 RL 任务，PPO+密集跟踪奖励、零手工奖励工程，1.2M→42M 参数、1 亿+帧/700 小时动捕、2.1 万 GPU 时、最多 128 GPU，统一 token 空间接 VR 遥操作与 GR00T VLA；②VLA 的 RL 后训练谱系：iRe-VLA（RL+SFT 迭代稳训练）、VLA-RL（过程奖励模型，LIBERO 81.0% vs SFT 76.5%）、RLDG（RL 产数据蒸馏通才）、ConRFT（离线+在线一致性策略）、RLVLA 实证（PPO/GRPO/DPO）、π*0.6 Recap（RL Token 蒸馏进通才）、BORA（离线→在线残差）、FIND（真机自主练习：π0.5+残差离线 RL，8 任务 55%→71.9%）；③工程框架：FluxVLA Engine（arXiv 2609.17210）标准化 reward/advantage-weighted 学习、可选 RLinf 在线 RL、FSDP 分布式、LIBERO/RoboCasa/RoboTwin/RoboDojo 评测与 RTC 推理加速；④仿真 RL 底座（Isaac Lab/ManiSkill PPO-SAC，见 Benchmark 篇）。11 张论文插图逐张讲解，附方法对比总表与选型 Q&A。

X Square Robot《X2Real Technical Report》精读：针对现有仿真基准的三大缺陷（sim2real 有差距、任务分布太窄、训练评测不分家导致刷榜），提出三条原则——faithfulness / diversity / fairness。做法：把仿真视觉与物理按真机逐项校准（StablePD + CMA-ES 标定控制增益，末端轨迹毫米级对齐），让只用真机数据训练的模型在仿真里测出的成绩与真机成绩达到 0.84 线性相关（纯通用任务上 0.96/0.99）；任务覆盖 10 个能力维度、44 个层级化长程任务（38 桌面 + 3 移动 + 3 挑战），每个任务表示成可执行的 Task DAG——成功判定、帧级子任务标注、10 分制 progress 打分、失败归因全由同一张图驱动；三轴正交域随机化 + 严格训练/评测分离防作弊；底层是 YAML 物理 DSL 驱动的 Mana 仿真生态（agent 可闭环改任务、造数据），附带约 300 小时带帧级标注的仿真轨迹数据集。用这套考场评了 4 个通用 policy：最强者 ID 53.9% → OOD 34.3%；GPT-6-Astra 当 policy 拿 36.15% 但推理一次要 30 秒以上；12 层堆塔实验证明自动合成数据比遥操作数据更好训（3.75 vs 1.90 层）。逐张讲解全部 24 张图。

RoboDojo（AI MMLab Club，arXiv 2607.04434 v3）精读：统一仿真与真机的通才操纵策略评测基准——仿真侧 42 任务覆盖泛化/记忆/长程/精密/开放指令五大维度（Isaac Sim 异构并行，2100 episodes），真机侧 18 任务 × 3 本体（ARX X5 / Piper / Piper X），标准化硬件与场景重置的 RoboDojo-RealEval 支持云端远程评测；XPolicyLab 统一策略接口一次接入、仿真真机两处可测。论文 2026-07-03 快照评测 30 个策略：最佳 Hy-Embodied-0.5-VLA 平均 13.07 分 / 8.80% SR，人类专家 80.42 / 76.03%——差距悬殊；真机侧 π0.5 最佳 22.9 / 12.8%，人类 100%。四大发现：随机化导致大崩溃（Hy-Embodied 标准 21.98 → 随机 1.57，-92.9%）、长程只是部分进步、精密卡在接触感知与偏轨纠偏、真机暴露执行不稳定。榜单由非营利基金会运营、无商业参与，含隐藏布局防刷榜与远程私有开发协议。逐张讲解全部 10 张插图（含双栏资产库/并行仿真子图）。