🧠 具身智能

π0 用预训练 VLM 做大脑、Flow Matching 做动作头，开创了 VLA 模型动作头设计的第三条路线。Flow Matching 相比扩散采样步数更少、训练更简单，相比离散化精度更高，巧妙弥合了 VLM 与连续机器人控制之间的表征鸿沟。在迄今最大规模机器人数据集上训练，一个模型搞定从叠衣服到收桌子的多种高难度操作。

本文从虚实对齐的视角全面综述具身智能，系统分析了具身感知、具身交互、具身智能体和仿真到真实迁移四大研究方向，深入探讨了多模态大模型在虚拟和现实具身智能体中的应用。

智元（AGIBOT）2026-10-29 创新日发布新一代具身基座模型 GO-3 Preview——截至发文尚无 arXiv 技术报告，本文基于 PR Newswire 官方通稿、RAN 行业媒体现场报道、36氪/网易快讯与官方 GO 家族公开资料做全景解读。核心：GO-3 Preview 围绕 **WRAM（World Reasoning Action Model，世界-推理-动作模型）**统一推理、预测与动作，能预判动作后果、适应环境变化、泛化到未学任务序列；演示零/少样本能力；提出 Physical Intelligence Scaling（预训练+后训练+部署后持续改进的全链路规模化）——约 90% 预训练数据来自人本第一视角视频（HTX/marsbit 技术解读），后训系统 Genie Evolver 融合真机、物理仿真与世界模型；桌面冰壶任务数小时练习后胜过普通人类玩家，LEGO 少样本组装、跨本体操作、数百任务开箱。榜单宣称（活动口径）：RoboDojo 任务成功率与过程分双第一、RoboTwin 总分第一、RoboColiseum 总分第一。血缘：GO-1（ViLLA，AgiBot World Colosseo，arXiv 2503.06669，1M+轨迹开源）→ GO-2（动作链思维）→ GO-3 Preview（全链路规模化）。开源计划：2026 年底全面开源 GO-3 Preview 与具身 Agent 框架 Genie Master（后者宣称首次真机验证 Physical RSI 递归自进化）。同场发布 Worken（Work+Token 生产力度量）、AHA3 硬件平台、AGILE 运动智能、WITA-Omni 交互模型、G2 Max、Link-U OS 1.0。收录现场图 8 张 + GO-3 便利店任务演示 GIF（50 帧）+ GO-1 血缘 teaser，逐图讲解。

WorldScape Policy 2.0（Manifold AI + 清华 + 上交，arXiv 2607.18840）精读：可操控 WAM，核心是「推理增强的长短期记忆」——因果短期视觉记忆把最近观测作为 DiT prefill 保住局部动力学；长短期事件记忆把历史 VLM 输出组织成 global-history / local-active / event-boundary，按进度检索并门控进当前推理；semantic forcing 把事件级指令语义灌进隐式规划路径。预训练数据 ManipEvent-5M 近 500 万事件段，对齐动作轨迹、整段指令、子任务字幕、目标图像与视频演示。RoboTwin 2.0 干净+随机平均 94.3%（比 π0.5 高 14.5 pp），C2R 60.1%；真机双臂 PiPER：折叠 75%、桌面清理 80%、shell game 75%、示范条件积木 60–70%。RoboDojo 榜单上 WorldScape-R2SI 39.35% SR / 46.6 progress，Memory/Open 分类是学习型最强（63.7% / 47.5%）。逐张讲解全部 11 张插图。

OpenWAM（NUS/清华/北大/港大等，arXiv 2609.07398，openwam-official.github.io）精读——注意与站内已写的斯坦福 OPENWAM（2610.07922）是两篇不同论文！本篇范式一句话：把「世界-动作模型（WAM）怎么设计」从一坨耦合实现变成受控实验程序。三层栈：①OpenWAM-Infra——4 视觉编码器×5 视频骨干×6 架构变体×4 注意力掩码的可组合模块，一个训练器/一个 WebSocket 策略服务器/一套仿真+真机评测协议，80 维统一动作空间（2×34 维臂块+24 维灵巧手+12 预留）；②OpenWAM-Study——六问（Q1 架构/Q2 骨干/Q3 视觉表示/Q4 视频-动作交互/Q5 预训练配方/Q6 去噪策略）受控实验，三结论：足够强的生成骨干+紧凑信息密潜空间继承上游知识、显式世界→动作信息流+同步联合去噪才是协同、具身预训练主要涨 OOD（人本第一视角×机器人单阶段共训最优、互见掩码胜出）；③OpenWAM-α——按配方落地：Wan2.2-TI2V-5B + ActionDiT 双系统、30 成对层联合自注意力、互见掩码、冻结 VAE/umT5，518.5M 帧（6,369h，70% 机器人/30% 人本）。成绩：八基准九榜——LIBERO 99.3、RoboTwin2.0-Full 93.60、Clean2Random 69.0、LIBERO-Plus 69.2（该榜 Qwen-RobotManip 89.0 更高，诚实记上）、EBench 49.4、RoboCasa-GR1 60.5、VLABench 58.9、RoboCasa365 38.2、RoboDojo 11.92；真机单臂 82.5%、双臂 RoboDojo 37.6/24.4、灵巧手 90.0。逐图讲解全部 14 张插图（官网 overview/architecture 原图 + 论文 PDF 裁剪）。

EmbodiedEvo（Navers Lab / Einsia.AI / 清华，arXiv 2610.18867）精读：不是训练 VLA，而是让 coding agent（Astra/Sol/Luna）在单个 Playground 场景里边跑代码边沉淀可复用的 Skills（控制过程）与 Lessons（失败模式/恢复经验），把 harness 冻结后交给全新 Test agent，在未见过的布局上直接用。RoboDojo-Sim：平均 44.48 分 / 37.82% 成功率，超越当时全部官方已验证结果；Memory 类任务 71.90/69.67%（下一名 VPP2 仅 55.56% SR）。Astra 的经验还能迁给更弱的 Sol/Luna（+8.86 / +5.50 pp）。Skills/Lessons 相比原始交互历史，同等性能下 Test 阶段执行成本低 53%。逐张讲解全部 15 张插图，覆盖总览、方法框架、失败轨迹、能力演化、经验迁移与代码示例。

斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》（arXiv 2610.07922，Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队）精读：现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程，导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发，在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练（32×B200 训 14 天、不用动作标签），再用共享 Mixture-of-Transformers 接入 2B 动作专家，同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式：VTA 在 LIBERO 四套件平均 98.6%，原始 Wan2.2 初始化只有 68.4%（+29.4 分）；双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」：逆动力学（IDM）与前向动力学（FDM）只看当前观察+本体感觉+给定轨迹、不看语言与历史，并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据（LIBERO-Long-CF，监督量 29.7×）——冻结的局部 IDM 配合「只调过视频预测器」的新任务，四个 LIBERO-90 迁移目标平均 84.0%，对比全上下文 47.0% 与纯演示 21.5%；FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练（92.8%）。逐图讲解全部 5 张图。

X Square Robot《X2Real Technical Report》精读：针对现有仿真基准的三大缺陷（sim2real 有差距、任务分布太窄、训练评测不分家导致刷榜），提出三条原则——faithfulness / diversity / fairness。做法：把仿真视觉与物理按真机逐项校准（StablePD + CMA-ES 标定控制增益，末端轨迹毫米级对齐），让只用真机数据训练的模型在仿真里测出的成绩与真机成绩达到 0.84 线性相关（纯通用任务上 0.96/0.99）；任务覆盖 10 个能力维度、44 个层级化长程任务（38 桌面 + 3 移动 + 3 挑战），每个任务表示成可执行的 Task DAG——成功判定、帧级子任务标注、10 分制 progress 打分、失败归因全由同一张图驱动；三轴正交域随机化 + 严格训练/评测分离防作弊；底层是 YAML 物理 DSL 驱动的 Mana 仿真生态（agent 可闭环改任务、造数据），附带约 300 小时带帧级标注的仿真轨迹数据集。用这套考场评了 4 个通用 policy：最强者 ID 53.9% → OOD 34.3%；GPT-6-Astra 当 policy 拿 36.15% 但推理一次要 30 秒以上；12 层堆塔实验证明自动合成数据比遥操作数据更好训（3.75 vs 1.90 层）。逐张讲解全部 24 张图。

HexaFuture《HexaShell》精读：给编程 Agent（Codex + GPT-6-Astra）一条命令行 robo 和三个 RGB 相机，不训练、不看演示——失败之后由第二个 Agent 读完整 episode 日志（每条命令、每帧图像）做 diagnosis，改测量/执行小工具并跑单元测试，下一轮同一布局重试；学到的经验以「工具代码」的形式留下。测 3D 用的是三角测量（两视角交会 + 已知平面），不用深度网络（Depth Anything V2 在腕相机上误差 ~100 mm，而抓取需要 ~1 cm）。RoboDojo 官方隐藏种子、42 任务、每任务 50 episodes：46.9% 成功率 / 53.2 progress 分，官方榜第一（超 WorldScape-R2SI 的 39.4%、VPP2 的 32.3%）；杂乱布局保留 82% 成功率（学习型 policy 中位数只 20%）；工具还能以几乎零改动迁移到真机（2× PiPER X）。边界也很清晰：memory 81.0% vs 精密插入只有 32.0%——卡脖子的是接触，不是推理。逐张讲解全部 14 张图。

清华 & Dexmal & Loopeva《LoopWAM》精读：真机部署的数据是「成功 + 次优 + 失败」的混合体——全模仿会吸收坏习惯、只留成功又会丢掉「物理交互及其后果」的信息。LoopWAM 的答案是单一 WAM 直接吃全质量谱：source-dependent 噪声采样（专家数据主要负责「视频重建」、rollout 数据主要负责「action-conditioned 世界模型」）+ quality steering（把质量分数写进指令后缀，推理时条件在专家分 q*）+ quality-weighted action 监督（失败动作不给动作损失、但视频损失全保留）。真机 RoboChallenge Table30-V2 三轮闭环把成功率 23.67%→43.33%（+19.7 pp、总分 56.80 排榜一）；RoboTwin 2.0 平均 94.5%、RoboCasa365 总体 49.5%，三个 benchmark 全部同组第一；衬衫折叠单任务后训练两轮再从 13.2% 提到 55.6%。逐张讲解全部 14 张图。

HKUST-GZ & OLA Dimensions《UniWAM》精读：VLA 有语义/推理但没有动力学，WAM 有动力学但 OOD 时不会思考。UniWAM 用 Mixture-of-Transformers 把三个专家拼进一个模型——物理推理器（Qwen3-VL-2B）、世界生成器（Wan2.2-TI2V-5B）、动作预测器——并给每个专家配「对的监督」：低层动作被翻译成自然语言物理描述（move forward 3 cm / tilt left 10 degrees）喂给 VLM，VQA 数据保住语言能力，10,013 小时人+机数据共同预训练。换来的是：LIBERO 99.2%、RoboTwin C2R 68.32%（C2C→C2R 只掉 6.82 个点）、LIBERO-Plus 92.6%、真机指令跟随 IFR 82.5%（超 π0.5 21.9 个点），外加一条 log-linear 的人机共训 scaling law（R²≈0.983）。逐张讲解全部 11 张图。

Physical Intelligence 的 π0.5（arXiv 2504.16054）架构详解：2B PaliGemma 骨干 + 300M Flow Matching 动作专家的两阶段训练——预训练全离散 FAST token、后训练加动作专家；「高层子任务推理 → 低层动作推理」的统一模型分解；用注意力掩码隔离两套动作表示防信息泄漏。本文逐张讲解论文全部 20 张插图（Fig 2-18，含架构总览、注意力掩码、数据配方、机器人系统与全部实验图），并给出图表总索引、架构评析与口述稿。

AgiBot & NVIDIA & Princeton《WorldOracle》精读：世界模型把未来画得很像 ≠ 世界真的会那样发生。WorldOracle 把成对的「真实执行」拿出来当标准答案——同一个初始观测 + 同一条低层动作序列，让 ACWM 开环重放，再问四个问题：物理状态对不对（会不会幻觉抓取成功）、机械臂和物体有没有跟着真实轨迹走、交互区域的画面糊不糊、多视角之间是否一致。335 条多段长轨迹（评测集中约 40% 的交互段是失败执行，专考「动作错了你会不会照错演化」）、3 种本体（AgiBot G2 / YAM / 人手，人手零样本）、7 个代表模型：GE-Sim 2.0 独一档（AgiBot 30s 综合 73.86），但长轨迹全都会跌（DreamDojo 50.56→27.08）。文章逐张讲解全部 21 张图。

清华 & NVIDIA《PrismWAM: Decoupling State Representations in World Action Models》精读：WAM 都拿视频模型的 latent 当「世界状态」，可视频 latent 把「桌子什么颜色」（语义，动作改不动）和「物体在哪儿」（物理状态，动作唯一能改变的东西）搅在一起。PrismWAM 把任务拆成 语义规划 → 物理推演 → 可执行动作：RGB 流只远观一张目标图当训练期老师，深度流管细粒度状态演化，动作塔只看深度 rollout。不用任何具身动作预训练，仅 2,300 小时深度数据，RoboTwin-C2R 均值 70.57%（15B 的 PrismWAM* 达 83.67%），RoboDojo 得分 36.23 超过 OpenWAM-α 与 10 万小时级的 Xiaomi-Robotics-1。本文逐张讲解全部 6 张图并附完整结果表。

Northeastern/UGA/EmbodyX《Flash-WAM: Modality-Aware Distillation for World Action Models》精读：WAM 每块要跑几十步去噪，实时控制无从谈起；而现成的步蒸馏方法一用到「视频+动作」联合模型上就崩。原因是一致性函数的梯度随噪声 σ 二次消失，而动作恰好要在低噪声段精修。Flash-WAM 给动作流换成线性梯度的一致性函数、视频流保留标准函数，在 LingBot-VA 上把 8.1 秒压到 347 毫秒（23×）仍保住 81.4% 成功率，并迁移到 Motus 与真机 Unitree G1。本文逐张讲解全部 4 张图，明确标注 RoboTwin 与 LIBERO 为仿真、G1 为真机，给出教师微调/蒸馏的完整训练配置与数据来源。

Robotera 与清华《Video Prediction Policy 2: Predict Better, Act Better》精读（含开源权重链接）：VPP2 先在大规模操作视频上做事件级续预训练，用「详细 caption + 完整事件轨迹」把指令到未来的映射变得确定；再后训练并蒸馏成单步视觉规划器，最后用 MoT 动作专家学隐式逆动力学。视频预测指令跟随率 14B 反超 64B Cosmos3 达 11 个点；真机 ALOHA 零样本 58.5%（π0.5 40.0%）；LIBERO-Pro 45.0%、LIBERO-OOD 63.9%、RoboDojo 仿真 32.26% 均为评测中最高。视频模型权重（Stage-1/Stage-2）已开源在 Hugging Face 与 ModelScope，RoboDojo 训练代码同步放出。本文逐张讲解论文全部 10 张图，明确标注每项任务是仿真还是真机，并给出数据来源与三阶段训练的完整配置。

NVIDIA《World Action Models are Zero-shot Policies》精读：DreamZero 用 14B 视频扩散骨干联合预测未来视频与动作，在 500 小时异构真机数据上训练，零样本任务进度超过最强 VLA 两倍；再用 DreamZero-Flash 解耦视频/动作噪声表，把 5.7 秒的推理压到 150 毫秒，实现 7Hz 实时闭环。本文逐张讲解论文全部 16 张图（总览、架构、注意力掩码、自回归 vs 双向、噪声表、数据分布、评测设置、seen/unseen 任务、后训练、跨本体迁移、少样本适配、自由任务、失败案例），附四张结果表、图表总索引与自测题。

Black Forest Labs 官方技术报告《FLUX 3 Action》精读：从多模态 FLUX 3 骨干衍生的 7B 世界行动模型（WAM），联合预测未来视频与机器人动作，在 RoboLab-120 上以不到对手一半的参数同时赢下精度与速度。本文逐张讲解报告全部 20 张图（Pareto 前沿、架构总览、时间步分布网格搜索、DROID 训练配方、CFG 网格、EMA 18 变体、蒸馏加速、真机盲测、混合策略），附图表总索引、架构评析、口述稿与自测题。官方交互图均按其公开数据重绘。