🦾 机器人

π0 用预训练 VLM 做大脑、Flow Matching 做动作头，开创了 VLA 模型动作头设计的第三条路线。Flow Matching 相比扩散采样步数更少、训练更简单，相比离散化精度更高，巧妙弥合了 VLM 与连续机器人控制之间的表征鸿沟。在迄今最大规模机器人数据集上训练，一个模型搞定从叠衣服到收桌子的多种高难度操作。

RT-1是Google Robotics团队提出的一种基于Transformer的机器人策略模型，通过在超过13万条真实机器人轨迹数据上训练，实现了对700+种任务的强大泛化能力。该工作首次证明了大规模、多样化的真实数据结合高容量架构能够在机器人领域取得类似NLP和CV领域的scalable性能。

SayCan是Google提出的将大型语言模型与机器人技能结合的方法，通过将LLM的语言知识与机器人技能的可行性（affordance）结合，实现了自然语言指令到长horizon机器人任务的规划与执行。该工作首次展示了LLM如何在真实机器人上落地，开启了LLM+机器人的新范式。

Open X-Embodiment是Google联合21家机构打造的跨机器人大规模数据集，包含22种机器人、100万+轨迹数据。基于该数据集训练的RT-X模型首次证明了跨机器人正迁移的可行性，RT-1-X成功率提升50%，RT-2-X泛化能力提升3倍。

斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》（arXiv 2610.07922，Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队）精读：现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程，导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发，在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练（32×B200 训 14 天、不用动作标签），再用共享 Mixture-of-Transformers 接入 2B 动作专家，同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式：VTA 在 LIBERO 四套件平均 98.6%，原始 Wan2.2 初始化只有 68.4%（+29.4 分）；双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」：逆动力学（IDM）与前向动力学（FDM）只看当前观察+本体感觉+给定轨迹、不看语言与历史，并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据（LIBERO-Long-CF，监督量 29.7×）——冻结的局部 IDM 配合「只调过视频预测器」的新任务，四个 LIBERO-90 迁移目标平均 84.0%，对比全上下文 47.0% 与纯演示 21.5%；FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练（92.8%）。逐图讲解全部 5 张图。

X Square Robot《X2Real Technical Report》精读：针对现有仿真基准的三大缺陷（sim2real 有差距、任务分布太窄、训练评测不分家导致刷榜），提出三条原则——faithfulness / diversity / fairness。做法：把仿真视觉与物理按真机逐项校准（StablePD + CMA-ES 标定控制增益，末端轨迹毫米级对齐），让只用真机数据训练的模型在仿真里测出的成绩与真机成绩达到 0.84 线性相关（纯通用任务上 0.96/0.99）；任务覆盖 10 个能力维度、44 个层级化长程任务（38 桌面 + 3 移动 + 3 挑战），每个任务表示成可执行的 Task DAG——成功判定、帧级子任务标注、10 分制 progress 打分、失败归因全由同一张图驱动；三轴正交域随机化 + 严格训练/评测分离防作弊；底层是 YAML 物理 DSL 驱动的 Mana 仿真生态（agent 可闭环改任务、造数据），附带约 300 小时带帧级标注的仿真轨迹数据集。用这套考场评了 4 个通用 policy：最强者 ID 53.9% → OOD 34.3%；GPT-6-Astra 当 policy 拿 36.15% 但推理一次要 30 秒以上；12 层堆塔实验证明自动合成数据比遥操作数据更好训（3.75 vs 1.90 层）。逐张讲解全部 24 张图。

RoboDojo（AI MMLab Club，arXiv 2607.04434 v3）精读：统一仿真与真机的通才操纵策略评测基准——仿真侧 42 任务覆盖泛化/记忆/长程/精密/开放指令五大维度（Isaac Sim 异构并行，2100 episodes），真机侧 18 任务 × 3 本体（ARX X5 / Piper / Piper X），标准化硬件与场景重置的 RoboDojo-RealEval 支持云端远程评测；XPolicyLab 统一策略接口一次接入、仿真真机两处可测。论文 2026-07-03 快照评测 30 个策略：最佳 Hy-Embodied-0.5-VLA 平均 13.07 分 / 8.80% SR，人类专家 80.42 / 76.03%——差距悬殊；真机侧 π0.5 最佳 22.9 / 12.8%，人类 100%。四大发现：随机化导致大崩溃（Hy-Embodied 标准 21.98 → 随机 1.57，-92.9%）、长程只是部分进步、精密卡在接触感知与偏轨纠偏、真机暴露执行不稳定。榜单由非营利基金会运营、无商业参与，含隐藏布局防刷榜与远程私有开发协议。逐张讲解全部 10 张插图（含双栏资产库/并行仿真子图）。

HexaFuture《HexaShell》精读：给编程 Agent（Codex + GPT-6-Astra）一条命令行 robo 和三个 RGB 相机，不训练、不看演示——失败之后由第二个 Agent 读完整 episode 日志（每条命令、每帧图像）做 diagnosis，改测量/执行小工具并跑单元测试，下一轮同一布局重试；学到的经验以「工具代码」的形式留下。测 3D 用的是三角测量（两视角交会 + 已知平面），不用深度网络（Depth Anything V2 在腕相机上误差 ~100 mm，而抓取需要 ~1 cm）。RoboDojo 官方隐藏种子、42 任务、每任务 50 episodes：46.9% 成功率 / 53.2 progress 分，官方榜第一（超 WorldScape-R2SI 的 39.4%、VPP2 的 32.3%）；杂乱布局保留 82% 成功率（学习型 policy 中位数只 20%）；工具还能以几乎零改动迁移到真机（2× PiPER X）。边界也很清晰：memory 81.0% vs 精密插入只有 32.0%——卡脖子的是接触，不是推理。逐张讲解全部 14 张图。

清华 & Dexmal & Loopeva《LoopWAM》精读：真机部署的数据是「成功 + 次优 + 失败」的混合体——全模仿会吸收坏习惯、只留成功又会丢掉「物理交互及其后果」的信息。LoopWAM 的答案是单一 WAM 直接吃全质量谱：source-dependent 噪声采样（专家数据主要负责「视频重建」、rollout 数据主要负责「action-conditioned 世界模型」）+ quality steering（把质量分数写进指令后缀，推理时条件在专家分 q*）+ quality-weighted action 监督（失败动作不给动作损失、但视频损失全保留）。真机 RoboChallenge Table30-V2 三轮闭环把成功率 23.67%→43.33%（+19.7 pp、总分 56.80 排榜一）；RoboTwin 2.0 平均 94.5%、RoboCasa365 总体 49.5%，三个 benchmark 全部同组第一；衬衫折叠单任务后训练两轮再从 13.2% 提到 55.6%。逐张讲解全部 14 张图。

一篇打包精读 19 个最常用具身仿真/Benchmark/评测基础设施：Meta-World（50 任务多任务与元 RL）、RLBench（100 任务+无限演示）、CALVIN（四房间 34 任务五步语言链）、RoboCasa（厨房 100+75 任务/2509 物体）、SimplerEnv/SIMPLER（真机策略的 real-to-sim 评测：视觉匹配 vs 变体聚合，MMRV/Pearson 相关）、BEHAVIOR-1K（1000 日常活动+OmniGibson）、VLABench（100 任务 60 原子+40 复合、2000+ 物体、四视角观测）、ManiSkill3（GPU 并行 3 万 FPS、16+ 机器人、real2sim 数字孪生）、RoboTwin 2.0（50 双臂任务+MLLM 代码生成+11k 纹理域随机化）、RoboCasa365（365 任务/2500 厨房场景/2200+ 小时数据/GR00T 预训练）、MagicSim（15 仿真家族确定性批式基础设施）、XPolicyLab（统一策略接口一次接入多榜）、HumanCLAW-Bench（1218 个人形全身寻找-导航-交互 episode，9 个前沿 VLM 最好仅 16.8%）、RoboCurve（真机独立评测：Inspect Robots 框架+RoboDojo-RC 榜）。每个 benchmark 独立成章：定位、任务清单、仿真还是真机、评测协议与指标、插图逐张讲解、生态位；文末附总对比表与 RoboDojo 关系图谱。第二辑按 OpenWAM（2609.07398）评测栈补充五章：LIBERO、LIBERO-Plus、RoboCasa-GR1、EBench、RoboDojo，并为 RoboTwin2.0 注记 Full/Clean2Random 双轨、为 VLABench 与 RoboCasa365 补 OpenWAM 成绩。全部 55 张插图本地收录。

HKUST-GZ & OLA Dimensions《UniWAM》精读：VLA 有语义/推理但没有动力学，WAM 有动力学但 OOD 时不会思考。UniWAM 用 Mixture-of-Transformers 把三个专家拼进一个模型——物理推理器（Qwen3-VL-2B）、世界生成器（Wan2.2-TI2V-5B）、动作预测器——并给每个专家配「对的监督」：低层动作被翻译成自然语言物理描述（move forward 3 cm / tilt left 10 degrees）喂给 VLM，VQA 数据保住语言能力，10,013 小时人+机数据共同预训练。换来的是：LIBERO 99.2%、RoboTwin C2R 68.32%（C2C→C2R 只掉 6.82 个点）、LIBERO-Plus 92.6%、真机指令跟随 IFR 82.5%（超 π0.5 21.9 个点），外加一条 log-linear 的人机共训 scaling law（R²≈0.983）。逐张讲解全部 11 张图。

Physical Intelligence 的 π0.5（arXiv 2504.16054）架构详解：2B PaliGemma 骨干 + 300M Flow Matching 动作专家的两阶段训练——预训练全离散 FAST token、后训练加动作专家；「高层子任务推理 → 低层动作推理」的统一模型分解；用注意力掩码隔离两套动作表示防信息泄漏。本文逐张讲解论文全部 20 张插图（Fig 2-18，含架构总览、注意力掩码、数据配方、机器人系统与全部实验图），并给出图表总索引、架构评析与口述稿。

AgiBot & NVIDIA & Princeton《WorldOracle》精读：世界模型把未来画得很像 ≠ 世界真的会那样发生。WorldOracle 把成对的「真实执行」拿出来当标准答案——同一个初始观测 + 同一条低层动作序列，让 ACWM 开环重放，再问四个问题：物理状态对不对（会不会幻觉抓取成功）、机械臂和物体有没有跟着真实轨迹走、交互区域的画面糊不糊、多视角之间是否一致。335 条多段长轨迹（评测集中约 40% 的交互段是失败执行，专考「动作错了你会不会照错演化」）、3 种本体（AgiBot G2 / YAM / 人手，人手零样本）、7 个代表模型：GE-Sim 2.0 独一档（AgiBot 30s 综合 73.86），但长轨迹全都会跌（DreamDojo 50.56→27.08）。文章逐张讲解全部 21 张图。

清华 & NVIDIA《PrismWAM: Decoupling State Representations in World Action Models》精读：WAM 都拿视频模型的 latent 当「世界状态」，可视频 latent 把「桌子什么颜色」（语义，动作改不动）和「物体在哪儿」（物理状态，动作唯一能改变的东西）搅在一起。PrismWAM 把任务拆成 语义规划 → 物理推演 → 可执行动作：RGB 流只远观一张目标图当训练期老师，深度流管细粒度状态演化，动作塔只看深度 rollout。不用任何具身动作预训练，仅 2,300 小时深度数据，RoboTwin-C2R 均值 70.57%（15B 的 PrismWAM* 达 83.67%），RoboDojo 得分 36.23 超过 OpenWAM-α 与 10 万小时级的 Xiaomi-Robotics-1。本文逐张讲解全部 6 张图并附完整结果表。

Northeastern/UGA/EmbodyX《Flash-WAM: Modality-Aware Distillation for World Action Models》精读：WAM 每块要跑几十步去噪，实时控制无从谈起；而现成的步蒸馏方法一用到「视频+动作」联合模型上就崩。原因是一致性函数的梯度随噪声 σ 二次消失，而动作恰好要在低噪声段精修。Flash-WAM 给动作流换成线性梯度的一致性函数、视频流保留标准函数，在 LingBot-VA 上把 8.1 秒压到 347 毫秒（23×）仍保住 81.4% 成功率，并迁移到 Motus 与真机 Unitree G1。本文逐张讲解全部 4 张图，明确标注 RoboTwin 与 LIBERO 为仿真、G1 为真机，给出教师微调/蒸馏的完整训练配置与数据来源。

Robotera 与清华《Video Prediction Policy 2: Predict Better, Act Better》精读（含开源权重链接）：VPP2 先在大规模操作视频上做事件级续预训练，用「详细 caption + 完整事件轨迹」把指令到未来的映射变得确定；再后训练并蒸馏成单步视觉规划器，最后用 MoT 动作专家学隐式逆动力学。视频预测指令跟随率 14B 反超 64B Cosmos3 达 11 个点；真机 ALOHA 零样本 58.5%（π0.5 40.0%）；LIBERO-Pro 45.0%、LIBERO-OOD 63.9%、RoboDojo 仿真 32.26% 均为评测中最高。视频模型权重（Stage-1/Stage-2）已开源在 Hugging Face 与 ModelScope，RoboDojo 训练代码同步放出。本文逐张讲解论文全部 10 张图，明确标注每项任务是仿真还是真机，并给出数据来源与三阶段训练的完整配置。

NVIDIA《World Action Models are Zero-shot Policies》精读：DreamZero 用 14B 视频扩散骨干联合预测未来视频与动作，在 500 小时异构真机数据上训练，零样本任务进度超过最强 VLA 两倍；再用 DreamZero-Flash 解耦视频/动作噪声表，把 5.7 秒的推理压到 150 毫秒，实现 7Hz 实时闭环。本文逐张讲解论文全部 16 张图（总览、架构、注意力掩码、自回归 vs 双向、噪声表、数据分布、评测设置、seen/unseen 任务、后训练、跨本体迁移、少样本适配、自由任务、失败案例），附四张结果表、图表总索引与自测题。

Black Forest Labs 官方技术报告《FLUX 3 Action》精读：从多模态 FLUX 3 骨干衍生的 7B 世界行动模型（WAM），联合预测未来视频与机器人动作，在 RoboLab-120 上以不到对手一半的参数同时赢下精度与速度。本文逐张讲解报告全部 20 张图（Pareto 前沿、架构总览、时间步分布网格搜索、DROID 训练配方、CFG 网格、EMA 18 变体、蒸馏加速、真机盲测、混合策略），附图表总索引、架构评析、口述稿与自测题。官方交互图均按其公开数据重绘。