https://auto-driving-blog.pages.dev/tags/-%E8%A7%86%E9%A2%91%E9%A2%84%E6%B5%8B/ Recent content in 🎬 视频预测 on Elon's AD Insight https://auto-driving-blog.pages.dev/images/share.png https://auto-driving-blog.pages.dev/images/share.png Hugo zh-cn Thu, 22 Oct 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/paper-reading/openwam%E7%B2%BE%E8%AF%BB/ Thu, 22 Oct 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/paper-reading/openwam%E7%B2%BE%E8%AF%BB/ 斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》（arXiv 2610.07922，Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队）精读：现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程，导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发，在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练（32×B200 训 14 天、不用动作标签），再用共享 Mixture-of-Transformers 接入 2B 动作专家，同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式：VTA 在 LIBERO 四套件平均 98.6%，原始 Wan2.2 初始化只有 68.4%（+29.4 分）；双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」：逆动力学（IDM）与前向动力学（FDM）只看当前观察+本体感觉+给定轨迹、不看语言与历史，并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据（LIBERO-Long-CF，监督量 29.7×）——冻结的局部 IDM 配合「只调过视频预测器」的新任务，四个 LIBERO-90 迁移目标平均 84.0%，对比全上下文 47.0% 与纯演示 21.5%；FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练（92.8%）。逐图讲解全部 5 张图。