精读 OpenWAM(斯坦福):把「视频与动作怎么配合」做成四个可切换开关——同一底座跑联合/先视频/先动作/解耦,反事实动力学让冻结组件跨任务复用到 84%

斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》(arXiv 2610.07922,Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队)精读:现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程,导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发,在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练(32×B200 训 14 天、不用动作标签),再用共享 Mixture-of-Transformers 接入 2B 动作专家,同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式:VTA 在 LIBERO 四套件平均 98.6%,原始 Wan2.2 初始化只有 68.4%(+29.4 分);双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」:逆动力学(IDM)与前向动力学(FDM)只看当前观察+本体感觉+给定轨迹、不看语言与历史,并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据(LIBERO-Long-CF,监督量 29.7×)——冻结的局部 IDM 配合「只调过视频预测器」的新任务,四个 LIBERO-90 迁移目标平均 84.0%,对比全上下文 47.0% 与纯演示 21.5%;FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练(92.8%)。逐图讲解全部 5 张图。

2026年10月22日 · 7 分钟 · 1337 字 · 

精读 X2Real:给通用机器人策略造一个「可信考场」——真机-仿真 0.84 相关性、10 维能力 44 任务、还能防「刷榜」

X Square Robot《X2Real Technical Report》精读:针对现有仿真基准的三大缺陷(sim2real 有差距、任务分布太窄、训练评测不分家导致刷榜),提出三条原则——faithfulness / diversity / fairness。做法:把仿真视觉与物理按真机逐项校准(StablePD + CMA-ES 标定控制增益,末端轨迹毫米级对齐),让只用真机数据训练的模型在仿真里测出的成绩与真机成绩达到 0.84 线性相关(纯通用任务上 0.96/0.99);任务覆盖 10 个能力维度、44 个层级化长程任务(38 桌面 + 3 移动 + 3 挑战),每个任务表示成可执行的 Task DAG——成功判定、帧级子任务标注、10 分制 progress 打分、失败归因全由同一张图驱动;三轴正交域随机化 + 严格训练/评测分离防作弊;底层是 YAML 物理 DSL 驱动的 Mana 仿真生态(agent 可闭环改任务、造数据),附带约 300 小时带帧级标注的仿真轨迹数据集。用这套考场评了 4 个通用 policy:最强者 ID 53.9% → OOD 34.3%;GPT-6-Astra 当 policy 拿 36.15% 但推理一次要 30 秒以上;12 层堆塔实验证明自动合成数据比遥操作数据更好训(3.75 vs 1.90 层)。逐张讲解全部 24 张图。

2026年10月21日 · 7 分钟 · 1473 字 ·