技术博客

Robotera 与清华《Video Prediction Policy 2: Predict Better, Act Better》精读（含开源权重链接）：VPP2 先在大规模操作视频上做事件级续预训练，用「详细 caption + 完整事件轨迹」把指令到未来的映射变得确定；再后训练并蒸馏成单步视觉规划器，最后用 MoT 动作专家学隐式逆动力学。视频预测指令跟随率 14B 反超 64B Cosmos3 达 11 个点；真机 ALOHA 零样本 58.5%（π0.5 40.0%）；LIBERO-Pro 45.0%、LIBERO-OOD 63.9%、RoboDojo 仿真 32.26% 均为评测中最高。视频模型权重（Stage-1/Stage-2）已开源在 Hugging Face 与 ModelScope，RoboDojo 训练代码同步放出。本文逐张讲解论文全部 10 张图，明确标注每项任务是仿真还是真机，并给出数据来源与三阶段训练的完整配置。

NVIDIA《World Action Models are Zero-shot Policies》精读：DreamZero 用 14B 视频扩散骨干联合预测未来视频与动作，在 500 小时异构真机数据上训练，零样本任务进度超过最强 VLA 两倍；再用 DreamZero-Flash 解耦视频/动作噪声表，把 5.7 秒的推理压到 150 毫秒，实现 7Hz 实时闭环。本文逐张讲解论文全部 16 张图（总览、架构、注意力掩码、自回归 vs 双向、噪声表、数据分布、评测设置、seen/unseen 任务、后训练、跨本体迁移、少样本适配、自由任务、失败案例），附四张结果表、图表总索引与自测题。

写给用Cosmos 3微调驱动真机机械臂（天机Marvin）抓可乐却一个月没跑通的团队：全文按‘问题→证据→方案→执行’重组——先解剖‘动作丝滑但抓不到/联训视频太慢/视频幻觉’三大症状与数据够不够（文献数字定论），再进证据章系统调研Cosmos生态落地项目：3.1 Cosmos 3论文深读（arXiv 2606.02800：mid-training/后训练课程与MT-init红利、DROID数据与窗口过滤三步闸门、具身实验全景RoboLab/RoboArena/MolmoSpaces/LIBERO-10、后训练工程四步与关键旋钮、Cosmos3-Edge-Policy-DROID同配方不同基座）、Cosmos Policy原版配方、NVIDIA官方SFT cookbook、首篇WAM sim2real论文、3.7节实测检索的GitHub现成仓库、3.8节精读官方Edge端侧部署教程与损失平衡三级出处（Cosmos 3报告§4.2.2→cosmos-framework源码→教程Table 1，官方带动作配方一律loss_scale 10/10）、3.9节真实两阶段RTC管线逐项拆解（193条双任务数据、chunk32→64动机剖析、损失权重量级判定法、嫌疑排序S0~S7）；第八节按官方源码拆解策略模式联合输出，给出四模式正面方案与七角度排查树；MuJoCo还是Isaac Sim、开环闭环怎么测；新增第五节MuJoCo仿真训练全流程（四层失败定位、必调物理参数、脚本专家采数据、仿真混真机训练、固定种子回归台、域随机化sim2real对齐清单）与7.4训练预算（步数公式+锚点表：一版≈15万优化步@batch64=1000万样本，真机阶段二仅2%预算）和收敛四道闸G1~G4、真机/仿真两套具体训练方案，附四周重建计划与自驾→具身方法论映射。

2026年具身智能最热的范式转向：世界行动模型（WAM）。本文盘点NVIDIA、BFL、GigaAI、蚂蚁、清华/上交/北大港大等团队的15+个WAM，逐个讲架构与成绩，详解RoboDojo/RoboLab-120榜单，提炼六大架构流派与七条趋势；含4.3 Cosmos Policy与4.4 DreamDojo两篇加长详解（latent frame injection三模式+价值头规划、44k小时人类视频+连续latent action预训练世界模型）。

Black Forest Labs 官方技术报告《FLUX 3 Action》精读：从多模态 FLUX 3 骨干衍生的 7B 世界行动模型（WAM），联合预测未来视频与机器人动作，在 RoboLab-120 上以不到对手一半的参数同时赢下精度与速度。本文逐张讲解报告全部 20 张图（Pareto 前沿、架构总览、时间步分布网格搜索、DROID 训练配方、CFG 网格、EMA 18 变体、蒸馏加速、真机盲测、混合策略），附图表总索引、架构评析、口述稿与自测题。官方交互图均按其公开数据重绘。

Physical Intelligence 的 π0.5（arXiv 2504.16054）架构详解：2B PaliGemma 骨干 + 300M Flow Matching 动作专家的两阶段训练——预训练全离散 FAST token、后训练加动作专家；「高层子任务推理 → 低层动作推理」的统一模型分解；用注意力掩码隔离两套动作表示防信息泄漏。本文逐张讲解论文全部 20 张插图（Fig 2-18，含架构总览、注意力掩码、数据配方、机器人系统与全部实验图），并给出图表总索引、架构评析与口述稿。

两篇 2026 年的具身自改进工作，一条「修策略外面的执行系统」，一条「修策略自己的数据分布」。Zetta（清华 AIR + Z-Trans AI，arXiv 2608.16590）冻结 VLA，让代码化的运行时 critic 与恢复技能在线进化，LIBERO-Pro 从 34.5% 拉到 90.8%、RoboCasa 18 任务 73.56% 拉到 93.56%，配套 Z-Infra 把 rollout 吞吐从 1.7 拉到 35.1 条/分钟；EmbodiRSI（上海科技大学等，arXiv 2609.38905）在 Real2Sim2Real 闭环里用「协作纠错 + 自适应采集」递归改进策略，仿真 50.4%→83.5%，真机只用 10 条人工纠错轨迹就以 83.1% 打平 200 条真机示教的 75.0%。本文从 I.J. Good 1965 年的「智能爆炸」讲到 2026 年的两条闭环路线，逐图拆解 17 张论文插图与 4 张自绘 SVG；开篇附零基础前置章节（背景白话、两个生活比喻、全文黑话速查表与 30 分钟阅读路线图），完全没接触过具身智能也能读。

写给即将入职具身智能公司（方奇科技）的自动驾驶背景工程师：一篇文章建立具身智能的完整坐标系。从六层技术栈、2026 行业资金与数据格局、方奇科技的「语义化世界模型 + 图灵学习范式」技术主张讲起，给出自动驾驶→具身的九项能力迁移地图与五个不能直接搬的差异，拆解八块知识栈（机器人学/模仿学习/VLA/仿真Sim2Real/世界模型/数据工程/RL后训练/系统部署），配 30+ 篇论文分层地图与站内精读索引，最后附 8 周动手计划与入职面试定向准备。

GigaAI 的 GigaWorld-0 把世界模型定位成 VLA 的「数据引擎」：Video 线（Dreamer 基座 + 外观/视角/模仿三个后训练迁移模型）管「看起来真」，3D 线（FG/BG/Phys/Act 四模块）管「动起来真」，GigaTrain 用 FP8 + 稀疏注意力把 2B MoE 视频基座训起来；只用合成数据训练的 GigaBrain-0 在真机叠衣服、倒果汁、收餐桌等任务上零交互部署成功。本文逐图拆解全部 23 张论文插图与 6 张自绘架构 SVG，深挖 Flow Matching、MoE 路由、控制分支、双重重投影、可微系统辨识等实现细节。

「NLR/NREL FASTSim（Future Automotive Systems Technology Simulator）是开源车辆功率train能耗仿真器：给一辆车 + 一条工况（UDDS/HWFET/自定义遥测），秒级算出油耗/电耗/续航。本文面向零基础，从名词表、三大对象 Vehicle/Cycle/SimDrive、到 Rust 内核逐模块拆解（道路负荷功率五项分解、向后看 Newton 速度求解、Trace Miss 四种策略、Conv/HEV/PHEV/BEV 功率train、HEV SOC 平衡迭代）、Python 绑定与车辆数据库（含比亚迪 Atto 3/Dolphin），再讲清它和 CARLA 等闭环驾驶仿真的分工，最后给出「测所有车能耗」的实操脚本与汇报口述。」

VLA/WM/WAM + 比亚迪MOT + 四项目面试全书（5300+ 行）：原理与伪代码；第一人称口述；预训练后训练；具身/VLA岗位指南；ML八股/概率/手写题/论文；按真实被问原题整理的实战包（自我介绍、手撕FM、yaw、RL数据单位、离职与反问、自驾vs具身迁移）。

从 DDPM 到 Flow Matching，从 1.2B 到 7B+400M，清华刘松铭团队的 RDT 系列完整拆解：为什么扩散模型特别适合机器人动作生成？多模态动作分布怎么建模？统一动作空间如何跨机器人迁移？三阶段训练配方如何对齐语言与连续控制？

北航 × 中关村实验室 RiskWorld 精读：不用「全局想象未来帧」，而是为每个周围目标单独跑一遍「如果它继续运动会怎样」的 RSSM 潜在动力学推演，从中解码出目标级风险评分。RiskBench 上 F1=63.0%、误报率仅 2.1%，在「谁是风险源」这个精准定位问题上超过了所有基线。

从 configs/model/simwam_navsim.yaml 第 1 行开始，逐层追踪 SimWAM 的完整逻辑链：两个专家怎么协作？Isolated Attention Mask 怎么实现训练时借力、推理时独立？联合 Flow Matching 训练的损失怎么算？FlowGRPO 的 SDE 采样、PDM 奖励、LoRA 微调怎么串起来？每段代码都标注了源文件路径。

Qwen-Drive-1.0 基于 Qwen3.5-4B VLM 外挂两个模块：BEV感知头（3D检测+占用预测+地图分割）和 Planning Expert（~1.1B 参数 Flow Matching 轨迹生成器），四阶段渐进训练。关键设计：**不设推理时打分器**，直接用 Flow Matching 单次采样输出轨迹，RL 后训练用 GRPO 式分组优势优化。NAVSIM v1.1 榜上 90.7 PDMS（RL），WOD-E2E 7.91 RFS，AlpaSim 闭环 0.37 分。

BrainWAM 用'大脑分工'的思路回答一个根本问题：VLA（语义推理）和 WAM（预测动态）到底该怎么结合？它先诊断出 Tri-MoT 朴素融合的致命伤——语义 token 抢占注意力、压垮预测信号；再受左右脑半球经胼胝体通信、小脑协调运动意图的启发，把语义和预测拆成两条特化通路，各自产出'面向动作'的表示，最后在紧凑的动作空间里用 CAB（胼胝体动作桥）双向交换、CIF（小脑意图融合）协调解码。NAVSIM v1 拿到 89.5 PDMS、v2 拿到 89.6 EPDMS，双双超过 VLA-only、WAM-only 和 Tri-MoT。

Percept-WAM 回答的是 WAM 系列的另一个致命问题：VLM 的空间感太差——'定位漂移、时序不一致、置信度虚高'，导致 VLA 系统的感知和规划都不稳。它把 2D/3D 感知任务直接'种'进单个 VLM 里：用 World-PV token（透视视角）和 World-BEV token（鸟瞰视角）编码可定位的世界状态，配合网格条件化预测头、IoU 校准置信度和并行自回归解码，再用四组点级 query（Q_pv/Q_bev/Q_ego/Q_full）把感知表示对齐成轨迹。NAVSIM v1 拿到 90.2 PDMS，超过 DiffusionDrive 2.1，还配了流式推理把时延压到 707ms。

DriveVLA-M0 给 VLA 自动驾驶加上了'失败记忆'：离线把模型表现差的场景连同路网/交互结构特征写进 latent memory，在线用专用的 Retrieve Model 检索结构相似的失败案例，再用解耦 LoRA 做测试时训练（TTT）逐场景纠正，让模型'吃一堑长一智'。NAVSIMv1 上 94.1 PDMS、NAVSIMv2 上 47.0 EPDMS，TTT 后向开销仅 26.44ms。它与同系 DriveVLA-W0 走了完全相反的路：W0 用世界模型换'稠密监督'，M0 用失败记忆换'场景自适应'。

SimWAM 用 joint flow matching 把预训练视频专家的交通动态先验'蒸馏'进轻量级 Action Expert，再用隔离注意力掩码让动作分支彻底摆脱未来帧依赖；随后把确定性 Flow ODE 转成可探索的 SDE，用 GRPO 直接优化 NAVSIM 组合驾驶奖励，突破模仿学习的上限。91.5 PDMS 新 SOTA，推理时延大幅低于 imagine-then-act 的 WAM，并零样本迁移到 nuScenes。

Metis 用 Mixture-of-Transformers 把'视频生成专家'和'动作预测专家'拆成两个独立 Transformer，再用一张非对称注意力掩码管理二者的信息流：动作只看向当前帧，未来视频可以看动作。训练时联合优化两者学到世界动态，推理时直接跳过视频生成只跑动作分支——NAVSIM-v2 navhard/navtest 和 CityWalker 全面 SOTA，纯动作推理比带视频快 8 倍，还零样本部署到四足机器人。