精读 OpenWAM(斯坦福):把「视频与动作怎么配合」做成四个可切换开关——同一底座跑联合/先视频/先动作/解耦,反事实动力学让冻结组件跨任务复用到 84%

斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》(arXiv 2610.07922,Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队)精读:现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程,导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发,在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练(32×B200 训 14 天、不用动作标签),再用共享 Mixture-of-Transformers 接入 2B 动作专家,同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式:VTA 在 LIBERO 四套件平均 98.6%,原始 Wan2.2 初始化只有 68.4%(+29.4 分);双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」:逆动力学(IDM)与前向动力学(FDM)只看当前观察+本体感觉+给定轨迹、不看语言与历史,并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据(LIBERO-Long-CF,监督量 29.7×)——冻结的局部 IDM 配合「只调过视频预测器」的新任务,四个 LIBERO-90 迁移目标平均 84.0%,对比全上下文 47.0% 与纯演示 21.5%;FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练(92.8%)。逐图讲解全部 5 张图。

2026年10月22日 · 7 分钟 · 1337 字 ·