论文精读|π0.5:混合动作表示 + 两级推理,让 VLA 在完全没见过的房子里打扫卫生

Physical Intelligence 的 π0.5(arXiv 2504.16054)架构详解:2B PaliGemma 骨干 + 300M Flow Matching 动作专家的两阶段训练——预训练全离散 FAST token、后训练加动作专家;「高层子任务推理 → 低层动作推理」的统一模型分解;用注意力掩码隔离两套动作表示防信息泄漏。本文逐张讲解论文全部 20 张插图(Fig 2-18,含架构总览、注意力掩码、数据配方、机器人系统与全部实验图),并给出图表总索引、架构评析与口述稿。

2026年10月8日 · 8 分钟 · 1575 字 · 

精读 WorldOracle:给世界模型出的那道「对答案」题——预测的未来和现实一致吗?

AgiBot & NVIDIA & Princeton《WorldOracle》精读:世界模型把未来画得很像 ≠ 世界真的会那样发生。WorldOracle 把成对的「真实执行」拿出来当标准答案——同一个初始观测 + 同一条低层动作序列,让 ACWM 开环重放,再问四个问题:物理状态对不对(会不会幻觉抓取成功)、机械臂和物体有没有跟着真实轨迹走、交互区域的画面糊不糊、多视角之间是否一致。335 条多段长轨迹(评测集中约 40% 的交互段是失败执行,专考「动作错了你会不会照错演化」)、3 种本体(AgiBot G2 / YAM / 人手,人手零样本)、7 个代表模型:GE-Sim 2.0 独一档(AgiBot 30s 综合 73.86),但长轨迹全都会跌(DreamDojo 50.56→27.08)。文章逐张讲解全部 21 张图。

2026年10月21日 · 7 分钟 · 1335 字 · 

精读 PrismWAM:把「世界长什么样」和「世界怎么变」拆开——语义规划 + 深度物理推演

清华 & NVIDIA《PrismWAM: Decoupling State Representations in World Action Models》精读:WAM 都拿视频模型的 latent 当「世界状态」,可视频 latent 把「桌子什么颜色」(语义,动作改不动)和「物体在哪儿」(物理状态,动作唯一能改变的东西)搅在一起。PrismWAM 把任务拆成 语义规划 → 物理推演 → 可执行动作:RGB 流只远观一张目标图当训练期老师,深度流管细粒度状态演化,动作塔只看深度 rollout。不用任何具身动作预训练,仅 2,300 小时深度数据,RoboTwin-C2R 均值 70.57%(15B 的 PrismWAM* 达 83.67%),RoboDojo 得分 36.23 超过 OpenWAM-α 与 10 万小时级的 Xiaomi-Robotics-1。本文逐张讲解全部 6 张图并附完整结果表。

2026年10月21日 · 6 分钟 · 1224 字 · 

精读 Flash-WAM:为什么把视频和动作一起蒸馏会崩——模态感知的一致性蒸馏

Northeastern/UGA/EmbodyX《Flash-WAM: Modality-Aware Distillation for World Action Models》精读:WAM 每块要跑几十步去噪,实时控制无从谈起;而现成的步蒸馏方法一用到「视频+动作」联合模型上就崩。原因是一致性函数的梯度随噪声 σ 二次消失,而动作恰好要在低噪声段精修。Flash-WAM 给动作流换成线性梯度的一致性函数、视频流保留标准函数,在 LingBot-VA 上把 8.1 秒压到 347 毫秒(23×)仍保住 81.4% 成功率,并迁移到 Motus 与真机 Unitree G1。本文逐张讲解全部 4 张图,明确标注 RoboTwin 与 LIBERO 为仿真、G1 为真机,给出教师微调/蒸馏的完整训练配置与数据来源。

2026年10月20日 · 8 分钟 · 1541 字 · 

精读 VPP2:先学会预测未来,再学动作——14B 视频策略零样本超过 64B Cosmos3(附开源权重)

Robotera 与清华《Video Prediction Policy 2: Predict Better, Act Better》精读(含开源权重链接):VPP2 先在大规模操作视频上做事件级续预训练,用「详细 caption + 完整事件轨迹」把指令到未来的映射变得确定;再后训练并蒸馏成单步视觉规划器,最后用 MoT 动作专家学隐式逆动力学。视频预测指令跟随率 14B 反超 64B Cosmos3 达 11 个点;真机 ALOHA 零样本 58.5%(π0.5 40.0%);LIBERO-Pro 45.0%、LIBERO-OOD 63.9%、RoboDojo 仿真 32.26% 均为评测中最高。视频模型权重(Stage-1/Stage-2)已开源在 Hugging Face 与 ModelScope,RoboDojo 训练代码同步放出。本文逐张讲解论文全部 10 张图,明确标注每项任务是仿真还是真机,并给出数据来源与三阶段训练的完整配置。

2026年10月19日 · 8 分钟 · 1579 字 · 

精读 DreamZero:世界行动模型就是零样本策略,14B 跑到 7Hz 实时闭环

NVIDIA《World Action Models are Zero-shot Policies》精读:DreamZero 用 14B 视频扩散骨干联合预测未来视频与动作,在 500 小时异构真机数据上训练,零样本任务进度超过最强 VLA 两倍;再用 DreamZero-Flash 解耦视频/动作噪声表,把 5.7 秒的推理压到 150 毫秒,实现 7Hz 实时闭环。本文逐张讲解论文全部 16 张图(总览、架构、注意力掩码、自回归 vs 双向、噪声表、数据分布、评测设置、seen/unseen 任务、后训练、跨本体迁移、少样本适配、自由任务、失败案例),附四张结果表、图表总索引与自测题。

2026年10月18日 · 6 分钟 · 1068 字 · 

精读 FLUX 3 Action:7B 世界行动模型,精度和速度同时登顶 RoboLab

Black Forest Labs 官方技术报告《FLUX 3 Action》精读:从多模态 FLUX 3 骨干衍生的 7B 世界行动模型(WAM),联合预测未来视频与机器人动作,在 RoboLab-120 上以不到对手一半的参数同时赢下精度与速度。本文逐张讲解报告全部 20 张图(Pareto 前沿、架构总览、时间步分布网格搜索、DROID 训练配方、CFG 网格、EMA 18 变体、蒸馏加速、真机盲测、混合策略),附图表总索引、架构评析、口述稿与自测题。官方交互图均按其公开数据重绘。

2026年10月8日 · 14 分钟 · 2797 字 ·