技术博客
自动驾驶 VLA · 世界模型 · 端到端 · 前沿论文精读与知识分享
📅 2026
OCT
30
解读智元 GO-3 Preview:WRAM 统一「推理-预测-动作」,全链路规模化学习登顶三榜——创新日全信息发布与 GO 家族三代演进(附现场图与便利店演示 GIF)
智元(AGIBOT)2026-10-29 创新日发布新一代具身基座模型 GO-3 Preview——截至发文**尚无 arXiv 技术报告**,本文基于 PR Newswire 官方通稿、RAN 行业媒体现场报道、36氪/网易快讯与官方 GO 家族公开资料做全景解读。核心:GO-3 Preview 围绕 **WRAM(World Reasoning Action Model,世界-推理-动作模型)**统一推理、预测与动作,能预判动作后果、适应环境变化、泛化到未学任务序列;演示零/少样本能力;提出 **Physical Intelligence Scaling**(预训练+后训练+部署后持续改进的全链路规模化)——约 **90% 预训练数据来自人本第一视角视频**(HTX/marsbit 技术解读),后训系统 **Genie Evolver** 融合真机、物理仿真与世界模型;桌面冰壶任务数小时练习后胜过普通人类玩家,LEGO 少样本组装、跨本体操作、数百任务开箱。**榜单宣称(活动口径)**:RoboDojo 任务成功率与过程分双第一、RoboTwin 总分第一、RoboColiseum 总分第一。血缘:GO-1(ViLLA,AgiBot World Colosseo,arXiv 2503.06669,1M+轨迹开源)→ GO-2(动作链思维)→ GO-3 Preview(全链路规模化)。开源计划:**2026 年底全面开源 GO-3 Preview 与具身 Agent 框架 Genie Master**(后者宣称首次真机验证 Physical RSI 递归自进化)。同场发布 Worken(Work+Token 生产力度量)、AHA3 硬件平台、AGILE 运动智能、WITA-Omni 交互模型、G2 Max、Link-U OS 1.0。收录现场图 8 张 + GO-3 便利店任务演示 GIF(50 帧)+ GO-1 血缘 teaser,逐图讲解。
OCT
29
精读 SuperMimic:一个可微世界模型省下 1000× GPU 时——1 卡 3 小时超过 SONIC 128 卡 7 天,附社区复现仓库全景
UC Berkeley《SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model》(arXiv 2610.28480,CoRL 2026 Oral,Qiayuan Liao / Yiyang Shao / Junfeng Long…Pieter Abbeel、Koushil Sreenath)精读:与 [具身 RL 调研](/posts/paper-reading/具身智能强化学习调研精读/)里的 SONIC 同赛道(大规模动捕跟踪),但把「模型免费 PPO 碾算力」换成「一个可微世界模型摊销全部动作」。核心洞察:千差万别的动作共享同一套人形混合刚体动力学——用一个从仿真日志拟合的可微世界模型学这份共享结构,短视野想象 rollout + 穿模反传(BPTT)给策略解析梯度;世界模型比 MuJoCo Warp 批量快 10×+,8 步预测误差在 1→264 小时数据上保持稳定。结果:1×H100 3 小时超过 SONIC 发布 checkpoint 的 0.90 归一化回报(>50× 墙钟、>1000× GPU 时:3 vs 21k);129,514 条基准动作失败 25 条 vs SONIC 179 条(含其全部翻转与侧滚),双卡 9.8 小时清零;真机 Unitree G1 全动作库零逐动作调参;速度编码器下游接口 RL 训练胜过蒸馏基线。官网 supermimic.github.io 给出完整算力账本与 FAQ。GitHub 侧(重点讲解):官方代码确认未放出,但论文 10-20 投稿、次日即现复现潮——事实标准 `supermimic_vibed`(706★,ETH 非官方、自述 1 小时 vibe-code、Isaac Lab 3+MuJoCo-Warp、LAFAN1 单卡 1.47h 达 0.829/0 失败)领跑,另有 awesome-supermimic 目录(312★)、Motphys/Uni-SuperMimic(195★,UniLab 三后端,LAFAN1 0.827、BONES-SEED 12.9 万条 0.9243/失败 0.27%)、CuboiLeo/SuperMimic-Reproduced(308★,论文逐条转录+5090 1.66h 复现 0.82)与向灵巧手/四足/机械臂外溢的改造潮。逐图讲解全部 9 张插图(论文 7 + 官网 2)。
OCT
29
精读 Ctrl-World:把 VLA 放进「可控世界模型」里想象着测、想着改——ICLR 2026 + 官方仓库 4 条跑法与演示全收录
斯坦福+清华《Ctrl-World: A Controllable Generative World Model for Robot Manipulation》(arXiv 2510.10125,ICLR 2026,Chelsea Finn 组,Yanjiang Guo / Lucy Xiaoyang Shi 共同一作)精读,含官方 GitHub 全解:核心命题——VLA 的评测与改进太贵(真机 rollout + 专家标注),改到「想象空间」里做 policy-in-the-loop。三个支撑件:①联合多视角预测(含腕部相机,治好单视角幻觉与「手腕视野剧变」不一致)②帧级动作条件(厘米级动作控制,1 秒动作块逐帧注入)③位姿条件记忆检索(20 秒+ 长程连贯)。从 SVD 视频扩散模型初始化,DROID 95k 轨迹/564 场景训练。两大用途实测:A) **想象中排名=真机排名**——π0/π0-fast/π0.5 在 7 任务上真机 vs 世界模型指令跟随相关 y=0.87x−0.04、成功率 y=0.81x−0.11;B) **合成成功轨迹做 SFT,策略成功率平均 +44.7%**(Spatial 0.29→0.88、Shape 0.44→0.93、平均 0.39→0.83)。官方仓库 Robert-gyj/Ctrl-World(575★,MIT,含 VLAW 后训练管线)四条跑法逐命令讲解:DROID 回放、键盘交互、π0.5 策略进环(零样本到新场景)、论文评测协议;训练/后训脚本与 ckpt 清单全解。深度原理全覆盖:问题形式化两方程、SVD 底座训练目标与超参(3层MLP动作投影、token 账本 B×12×2880、100k步2×8H100)、三改造机制、关节速度→笛卡尔位姿的 2 层 MLP 适配器桥、Table1/2 质量与消融数字、Algorithm 1 逐行(400 条 rollout 留 25–50 条、2k 步微调、38.7%→83.4%)、四条创新点与「三宗罪」靶子、DROID 数据集专节(95,599 轨迹/76k 成功+19k 失败/564 场景与失败数据为何是资产)、六组实验总目录 E1–E6 与附录逐任务对照表节选。9 张论文插图逐图讲解 + GitHub 演示媒体(README 横幅、2 个真机 vs 世界模型长程 GIF、2 组三视角合成轨迹 mp4)全部贴进博客。
OCT
28
深度调研:具身智能的强化学习到底怎么做?——SONIC 运动跟踪基础模型、VLA 的 RL 后训练谱系与 FluxVLA Engine 工程栈,11 张论文插图逐图讲
一篇调研讲清「具身智能的强化学习」:先小白开篇(奖励从哪来、为什么难:重置/稀疏/sim2real/大模型不稳),再给四条战线全景地图——①底层运动控制 RL:SONIC(Science Robotics 2026,arXiv 2511.07820)把「运动跟踪」当可扩展 RL 任务,PPO+密集跟踪奖励、零手工奖励工程,1.2M→42M 参数、1 亿+帧/700 小时动捕、2.1 万 GPU 时、最多 128 GPU,统一 token 空间接 VR 遥操作与 GR00T VLA;②VLA 的 RL 后训练谱系:iRe-VLA(RL+SFT 迭代稳训练)、VLA-RL(过程奖励模型,LIBERO 81.0% vs SFT 76.5%)、RLDG(RL 产数据蒸馏通才)、ConRFT(离线+在线一致性策略)、RLVLA 实证(PPO/GRPO/DPO)、π*0.6 Recap(RL Token 蒸馏进通才)、BORA(离线→在线残差)、FIND(真机自主练习:π0.5+残差离线 RL,8 任务 55%→71.9%);③工程框架:FluxVLA Engine(arXiv 2609.17210)标准化 reward/advantage-weighted 学习、可选 RLinf 在线 RL、FSDP 分布式、LIBERO/RoboCasa/RoboTwin/RoboDojo 评测与 RTC 推理加速;④仿真 RL 底座(Isaac Lab/ManiSkill PPO-SAC,见 Benchmark 篇)。11 张论文插图逐张讲解,附方法对比总表与选型 Q&A。
OCT
28
精读 OpenWAM(2609.07398):把世界-动作模型预训练做成「受控实验程序」——Infra/Study/α 三层栈、六问三结论,14 张官网+论文插图全讲
OpenWAM(NUS/清华/北大/港大等,arXiv 2609.07398,openwam-official.github.io)精读——注意与站内已写的斯坦福 OPENWAM(2610.07922)是两篇不同论文!本篇范式一句话:把「世界-动作模型(WAM)怎么设计」从一坨耦合实现变成受控实验程序。三层栈:①OpenWAM-Infra——4 视觉编码器×5 视频骨干×6 架构变体×4 注意力掩码的可组合模块,一个训练器/一个 WebSocket 策略服务器/一套仿真+真机评测协议,80 维统一动作空间(2×34 维臂块+24 维灵巧手+12 预留);②OpenWAM-Study——六问(Q1 架构/Q2 骨干/Q3 视觉表示/Q4 视频-动作交互/Q5 预训练配方/Q6 去噪策略)受控实验,三结论:足够强的生成骨干+紧凑信息密潜空间继承上游知识、显式世界→动作信息流+同步联合去噪才是协同、具身预训练主要涨 OOD(人本第一视角×机器人单阶段共训最优、互见掩码胜出);③OpenWAM-α——按配方落地:Wan2.2-TI2V-5B + ActionDiT 双系统、30 成对层联合自注意力、互见掩码、冻结 VAE/umT5,518.5M 帧(6,369h,70% 机器人/30% 人本)。成绩:八基准九榜——LIBERO 99.3、RoboTwin2.0-Full 93.60、Clean2Random 69.0、LIBERO-Plus 69.2(该榜 Qwen-RobotManip 89.0 更高,诚实记上)、EBench 49.4、RoboCasa-GR1 60.5、VLABench 58.9、RoboCasa365 38.2、RoboDojo 11.92;真机单臂 82.5%、双臂 RoboDojo 37.6/24.4、灵巧手 90.0。逐图讲解全部 14 张插图(官网 overview/architecture 原图 + 论文 PDF 裁剪)。
OCT
27
精读 19 个具身仿真 Benchmark:任务是什么、仿真还是真机、怎么测——55 张插图逐张讲透(含 OpenWAM 评测栈五榜补充,与 RoboDojo 串成评测全景)
一篇打包精读 19 个最常用具身仿真/Benchmark/评测基础设施:Meta-World(50 任务多任务与元 RL)、RLBench(100 任务+无限演示)、CALVIN(四房间 34 任务五步语言链)、RoboCasa(厨房 100+75 任务/2509 物体)、SimplerEnv/SIMPLER(真机策略的 real-to-sim 评测:视觉匹配 vs 变体聚合,MMRV/Pearson 相关)、BEHAVIOR-1K(1000 日常活动+OmniGibson)、VLABench(100 任务 60 原子+40 复合、2000+ 物体、四视角观测)、ManiSkill3(GPU 并行 3 万 FPS、16+ 机器人、real2sim 数字孪生)、RoboTwin 2.0(50 双臂任务+MLLM 代码生成+11k 纹理域随机化)、RoboCasa365(365 任务/2500 厨房场景/2200+ 小时数据/GR00T 预训练)、MagicSim(15 仿真家族确定性批式基础设施)、XPolicyLab(统一策略接口一次接入多榜)、HumanCLAW-Bench(1218 个人形全身寻找-导航-交互 episode,9 个前沿 VLM 最好仅 16.8%)、RoboCurve(真机独立评测:Inspect Robots 框架+RoboDojo-RC 榜)。每个 benchmark 独立成章:定位、任务清单、仿真还是真机、评测协议与指标、插图逐张讲解、生态位;文末附总对比表与 RoboDojo 关系图谱。第二辑按 OpenWAM(2609.07398)评测栈补充五章:LIBERO、LIBERO-Plus、RoboCasa-GR1、EBench、RoboDojo,并为 RoboTwin2.0 注记 Full/Clean2Random 双轨、为 VLABench 与 RoboCasa365 补 OpenWAM 成绩。全部 55 张插图本地收录。
OCT
27
精读 RoboDojo:42 仿真 + 18 真机的「统一操纵评测场」——人类专家 76% 成功率,最佳策略当时只有 8.8%
RoboDojo(AI MMLab Club,arXiv 2607.04434 v3)精读:统一仿真与真机的通才操纵策略评测基准——仿真侧 42 任务覆盖泛化/记忆/长程/精密/开放指令五大维度(Isaac Sim 异构并行,2100 episodes),真机侧 18 任务 × 3 本体(ARX X5 / Piper / Piper X),标准化硬件与场景重置的 RoboDojo-RealEval 支持云端远程评测;XPolicyLab 统一策略接口一次接入、仿真真机两处可测。论文 2026-07-03 快照评测 30 个策略:最佳 Hy-Embodied-0.5-VLA 平均 13.07 分 / 8.80% SR,人类专家 80.42 / 76.03%——差距悬殊;真机侧 π0.5 最佳 22.9 / 12.8%,人类 100%。四大发现:随机化导致大崩溃(Hy-Embodied 标准 21.98 → 随机 1.57,-92.9%)、长程只是部分进步、精密卡在接触感知与偏轨纠偏、真机暴露执行不稳定。榜单由非营利基金会运营、无商业参与,含隐藏布局防刷榜与远程私有开发协议。逐张讲解全部 10 张插图(含双栏资产库/并行仿真子图)。
OCT
27
精读 GR00T N1.7 技术报告:把迭代 DiT 动作头换成「一步漂移」——快 9 倍,但 LIBERO 成功率系统性掉分
GR00T N1.7 技术报告(arXiv 2609.18108,CC BY 4.0)精读:把英伟达 GR00T N1.7 的迭代流匹配 DiT 动作头替换为「一步漂移动作头」(继承 IDP 目标:几何加权势能 + 零动作种子单次前向吐完整 H=40 动作块),并实现 DrifOv 重叠条件后缀生成(已承诺前缀逐坐标原样拷贝、只生成未知后缀,供异步换块用)。实测(LIBERO / LeRobot 栈、2×A800、20k 步、种子 1/42/1000):动作头 45.3→5.0ms(约 9×),backbone+头 70.0→30.6ms(2.2–2.4×),GPU 训练显存观测 45.7→17.8 GiB;但成功率系统性下滑——Spatial 64.0±4.0% vs GR00T 82.3±6.8%、Goal 52.0±1.0% vs 82.3±4.0%、Long 26.0±2.6% vs 74.5±10.6%,三种子方差极小 = 退化是系统性的。报告给出四个候选解释(确定性一步的模式平均、minibatch 几何估计、H=40 开环执行、同步评测没测到异步重叠路径)并明确「不宣称整体改进,只报速度-成功率权衡」。含英伟达官方 GR00T N1.7 背景(3B、Cosmos-Reason2/Qwen3-VL、Apache 2.0)。逐张讲解全部 6 张插图。
OCT
27
精读 RoboOS-NeXT:多机器人的「大脑-小脑-共享记忆」调度框架——STEM 记忆让长序列任务从崩溃到 75%
北京大学 + 北京智源人工智能研究院等《RoboOS-NeXT》(arXiv 2510.26536)精读,含小白开篇:先用 5 分钟讲清「什么是具身机器人大脑系统」(VLA 是小脑,大脑负责拆任务/调度/记忆/验证,记忆就是团队共享白板),再进论文。核心是 Spatio-Temporal–Embodiment Memory(STEM)——把空间场景几何、时间事件史、本体档案揉成一份所有机器人共享的统一记忆;其上是「大脑(高层规划,检索/更新 STEM)-小脑(低层技能库+工具调用,低延迟执行)-记忆」闭环。工作流四阶段:全局任务分解 → 拓扑式子任务分配 → 分布式子任务 Agent → 动态记忆更新。评测三场景(餐厅/超市/家庭)×难度 L1–L3 ×序列长 SQ1/3/5,指标 MSR/AEST/SR/SS:无记忆基线在 SQ=5 时崩盘(餐厅 L2 0% vs 本文 75%),本文 AEST 普降 20–70%、L3 仍 MSR +63.5%(超市)/+58.3%(家庭);同构 3/5 轮机器人编队 AEST 再降 58%/76%;失败分析显示 45.3% 错误来自工具调用。逐张讲解全部 4 张插图(含真机餐厅/家庭/超市演示)。
OCT
27
精读 ABot-AgentOS:给机器人装一套「Agent 操作系统」——边云双脑、图式终身记忆、失败驱动自进化
高德地图 CV Lab(阿里)《ABot-AgentOS》(arXiv 2607.10350 v3)精读,含小白开篇:先 5 分钟讲清「具身机器人大脑系统」是什么(VLA=小脑,大脑=听懂话/拆任务/调度/记忆/验证;OS 类比:技能=进程、记忆=内存、工具=文件系统),再进论文。系统五件套:①边云双 LLM(端侧 Tiny 模型管每回合,按需升级云端大模型)②Agent Harness——场景条件规划 + Skill Runner 程序化执行 + 三阶段验证(运行中/技能级/收尾)+ 感知推理循环 ③Universal Multi-modal Graph Memory——把对话/视觉观测/空间/时间/任务轨迹变成带类型节点边的持久图 ④失败驱动终身自进化——失败→诊断→带门控的 evo-assets 只准用于后续 split(防当前题泄漏)⑤可部署学生策略训练(文本环境+教师轨迹蒸馏 SFT + LLM-as-Judge 在线 RL + GiGPO 优势)。自带基准 EmbodiedWorldBench:16 场景(室内/室外/混合)× 4 难度 × 200+ 任务,指标 TSR/GCR,UnrealZoo NavMesh 执行。结果:同模型下架构使 TSR 49.97%→61.96%、GCR 57.95%→68.79%(+11.99/+10.84),换 DeepSeek-V4-Pro 再到 68.18%/74.62%;记忆基准 LoCoMo 87.5→88.7、OpenEQA 59.9→60.4、Mem-Gallery 88.6→89.0、NExT-QA Acc@All 76.5。逐张讲解全部 8 张插图。
OCT
22
精读 OpenWAM(斯坦福):把「视频与动作怎么配合」做成四个可切换开关——同一底座跑联合/先视频/先动作/解耦,反事实动力学让冻结组件跨任务复用到 84%
斯坦福《OPENWAM: An Open Framework for Composable World-Action Models》(arXiv 2610.07922,Li Fei-Fei / Jiajun Wu / Ehsan Adeli 团队)精读:现有 WAM 系统同时更换视频底座、交互结构、监督信号与推理流程,导致「视频-动作交互设计」无法被单独比较。OPENWAM 固定一个共同底座——从 Wan2.2-5B 出发,在约 1.46 万小时机器人/人-物交互视频上做「块因果」预训练(32×B200 训 14 天、不用动作标签),再用共享 Mixture-of-Transformers 接入 2B 动作专家,同一架构支持 Joint / VTA / ATV / Decoupled 四种生成模式:VTA 在 LIBERO 四套件平均 98.6%,原始 Wan2.2 初始化只有 68.4%(+29.4 分);双臂真机三任务平均 92.1%。第二条主线是「局部上下文动力学」:逆动力学(IDM)与前向动力学(FDM)只看当前观察+本体感觉+给定轨迹、不看语言与历史,并在仿真里从同一起始状态分叉执行替代动作序列造出 3.2 万条反事实数据(LIBERO-Long-CF,监督量 29.7×)——冻结的局部 IDM 配合「只调过视频预测器」的新任务,四个 LIBERO-90 迁移目标平均 84.0%,对比全上下文 47.0% 与纯演示 21.5%;FDM 的 16 选 1 结果识别率从 21.1% 升到 71.3%。附录还给出与 UVA 的统一对比和单 checkpoint 多目标训练(92.8%)。逐图讲解全部 5 张图。
OCT
22
精读 EmbodiedEvo:让编程 Agent 在一个 Playground 场景里「长经验」,冻住交给新场景——RoboDojo-Sim 37.82% 超全部官方已验证结果
EmbodiedEvo(Navers Lab / Einsia.AI / 清华,arXiv 2610.18867)精读:不是训练 VLA,而是让 coding agent(Astra/Sol/Luna)在单个 Playground 场景里边跑代码边沉淀可复用的 Skills(控制过程)与 Lessons(失败模式/恢复经验),把 harness 冻结后交给全新 Test agent,在未见过的布局上直接用。RoboDojo-Sim:平均 44.48 分 / 37.82% 成功率,超越当时全部官方已验证结果;Memory 类任务 71.90/69.67%(下一名 VPP2 仅 55.56% SR)。Astra 的经验还能迁给更弱的 Sol/Luna(+8.86 / +5.50 pp)。Skills/Lessons 相比原始交互历史,同等性能下 Test 阶段执行成本低 53%。逐张讲解全部 15 张插图,覆盖总览、方法框架、失败轨迹、能力演化、经验迁移与代码示例。
OCT
22
精读 WorldScape Policy 2.0:给 WAM 装上「推理增强的长短期记忆」——RoboTwin 平均 94.3%,真机 PiPER 也稳
WorldScape Policy 2.0(Manifold AI + 清华 + 上交,arXiv 2607.18840)精读:可操控 WAM,核心是「推理增强的长短期记忆」——因果短期视觉记忆把最近观测作为 DiT prefill 保住局部动力学;长短期事件记忆把历史 VLM 输出组织成 global-history / local-active / event-boundary,按进度检索并门控进当前推理;semantic forcing 把事件级指令语义灌进隐式规划路径。预训练数据 ManipEvent-5M 近 500 万事件段,对齐动作轨迹、整段指令、子任务字幕、目标图像与视频演示。RoboTwin 2.0 干净+随机平均 94.3%(比 π0.5 高 14.5 pp),C2R 60.1%;真机双臂 PiPER:折叠 75%、桌面清理 80%、shell game 75%、示范条件积木 60–70%。RoboDojo 榜单上 WorldScape-R2SI 39.35% SR / 46.6 progress,Memory/Open 分类是学习型最强(63.7% / 47.5%)。逐张讲解全部 11 张插图。
OCT
21
精读 PrismWAM:把「世界长什么样」和「世界怎么变」拆开——语义规划 + 深度物理推演
清华 & NVIDIA《PrismWAM: Decoupling State Representations in World Action Models》精读:WAM 都拿视频模型的 latent 当「世界状态」,可视频 latent 把「桌子什么颜色」(语义,动作改不动)和「物体在哪儿」(物理状态,动作唯一能改变的东西)搅在一起。PrismWAM 把任务拆成 语义规划 → 物理推演 → 可执行动作:RGB 流只远观一张目标图当训练期老师,深度流管细粒度状态演化,动作塔只看深度 rollout。不用任何具身动作预训练,仅 2,300 小时深度数据,RoboTwin-C2R 均值 70.57%(15B 的 PrismWAM* 达 83.67%),RoboDojo 得分 36.23 超过 OpenWAM-α 与 10 万小时级的 Xiaomi-Robotics-1。本文逐张讲解全部 6 张图并附完整结果表。
OCT
21
精读 WorldOracle:给世界模型出的那道「对答案」题——预测的未来和现实一致吗?
AgiBot & NVIDIA & Princeton《WorldOracle》精读:世界模型把未来画得很像 ≠ 世界真的会那样发生。WorldOracle 把成对的「真实执行」拿出来当标准答案——同一个初始观测 + 同一条低层动作序列,让 ACWM 开环重放,再问四个问题:物理状态对不对(会不会幻觉抓取成功)、机械臂和物体有没有跟着真实轨迹走、交互区域的画面糊不糊、多视角之间是否一致。335 条多段长轨迹(评测集中约 40% 的交互段是失败执行,专考「动作错了你会不会照错演化」)、3 种本体(AgiBot G2 / YAM / 人手,人手零样本)、7 个代表模型:GE-Sim 2.0 独一档(AgiBot 30s 综合 73.86),但长轨迹全都会跌(DreamDojo 50.56→27.08)。文章逐张讲解全部 21 张图。
OCT
21
精读 UniWAM:把「会推理的 VLM」和「懂物理的视频模型」焊在一起——统一世界-行动模型
HKUST-GZ & OLA Dimensions《UniWAM》精读:VLA 有语义/推理但没有动力学,WAM 有动力学但 OOD 时不会思考。UniWAM 用 Mixture-of-Transformers 把三个专家拼进一个模型——物理推理器(Qwen3-VL-2B)、世界生成器(Wan2.2-TI2V-5B)、动作预测器——并给每个专家配「对的监督」:低层动作被翻译成自然语言物理描述(move forward 3 cm / tilt left 10 degrees)喂给 VLM,VQA 数据保住语言能力,10,013 小时人+机数据共同预训练。换来的是:LIBERO 99.2%、RoboTwin C2R 68.32%(C2C→C2R 只掉 6.82 个点)、LIBERO-Plus 92.6%、真机指令跟随 IFR 82.5%(超 π0.5 21.9 个点),外加一条 log-linear 的人机共训 scaling law(R²≈0.983)。逐张讲解全部 11 张图。
OCT
21
精读 LoopWAM:失败的轨迹不是垃圾数据——闭环自进化,三轮把成功率从 23.7% 提到 43.3%
清华 & Dexmal & Loopeva《LoopWAM》精读:真机部署的数据是「成功 + 次优 + 失败」的混合体——全模仿会吸收坏习惯、只留成功又会丢掉「物理交互及其后果」的信息。LoopWAM 的答案是单一 WAM 直接吃全质量谱:source-dependent 噪声采样(专家数据主要负责「视频重建」、rollout 数据主要负责「action-conditioned 世界模型」)+ quality steering(把质量分数写进指令后缀,推理时条件在专家分 q*)+ quality-weighted action 监督(失败动作不给动作损失、但视频损失全保留)。真机 RoboChallenge Table30-V2 三轮闭环把成功率 23.67%→43.33%(+19.7 pp、总分 56.80 排榜一);RoboTwin 2.0 平均 94.5%、RoboCasa365 总体 49.5%,三个 benchmark 全部同组第一;衬衫折叠单任务后训练两轮再从 13.2% 提到 55.6%。逐张讲解全部 14 张图。
OCT
21
精读 HexaShell:不训练、不演示,纯靠编程 Agent「修 Bug」——给机器人造工具,打到 46.9% SOTA
HexaFuture《HexaShell》精读:给编程 Agent(Codex + GPT-6-Astra)一条命令行 robo 和三个 RGB 相机,不训练、不看演示——失败之后由第二个 Agent 读完整 episode 日志(每条命令、每帧图像)做 diagnosis,改测量/执行小工具并跑单元测试,下一轮同一布局重试;学到的经验以「工具代码」的形式留下。测 3D 用的是三角测量(两视角交会 + 已知平面),不用深度网络(Depth Anything V2 在腕相机上误差 ~100 mm,而抓取需要 ~1 cm)。RoboDojo 官方隐藏种子、42 任务、每任务 50 episodes:46.9% 成功率 / 53.2 progress 分,官方榜第一(超 WorldScape-R2SI 的 39.4%、VPP2 的 32.3%);杂乱布局保留 82% 成功率(学习型 policy 中位数只 20%);工具还能以几乎零改动迁移到真机(2× PiPER X)。边界也很清晰:memory 81.0% vs 精密插入只有 32.0%——卡脖子的是接触,不是推理。逐张讲解全部 14 张图。
OCT
21
精读 X2Real:给通用机器人策略造一个「可信考场」——真机-仿真 0.84 相关性、10 维能力 44 任务、还能防「刷榜」
X Square Robot《X2Real Technical Report》精读:针对现有仿真基准的三大缺陷(sim2real 有差距、任务分布太窄、训练评测不分家导致刷榜),提出三条原则——faithfulness / diversity / fairness。做法:把仿真视觉与物理按真机逐项校准(StablePD + CMA-ES 标定控制增益,末端轨迹毫米级对齐),让只用真机数据训练的模型在仿真里测出的成绩与真机成绩达到 0.84 线性相关(纯通用任务上 0.96/0.99);任务覆盖 10 个能力维度、44 个层级化长程任务(38 桌面 + 3 移动 + 3 挑战),每个任务表示成可执行的 Task DAG——成功判定、帧级子任务标注、10 分制 progress 打分、失败归因全由同一张图驱动;三轴正交域随机化 + 严格训练/评测分离防作弊;底层是 YAML 物理 DSL 驱动的 Mana 仿真生态(agent 可闭环改任务、造数据),附带约 300 小时带帧级标注的仿真轨迹数据集。用这套考场评了 4 个通用 policy:最强者 ID 53.9% → OOD 34.3%;GPT-6-Astra 当 policy 拿 36.15% 但推理一次要 30 秒以上;12 层堆塔实验证明自动合成数据比遥操作数据更好训(3.75 vs 1.90 层)。逐张讲解全部 24 张图。
OCT
20
精读 Flash-WAM:为什么把视频和动作一起蒸馏会崩——模态感知的一致性蒸馏
Northeastern/UGA/EmbodyX《Flash-WAM: Modality-Aware Distillation for World Action Models》精读:WAM 每块要跑几十步去噪,实时控制无从谈起;而现成的步蒸馏方法一用到「视频+动作」联合模型上就崩。原因是一致性函数的梯度随噪声 σ 二次消失,而动作恰好要在低噪声段精修。Flash-WAM 给动作流换成线性梯度的一致性函数、视频流保留标准函数,在 LingBot-VA 上把 8.1 秒压到 347 毫秒(23×)仍保住 81.4% 成功率,并迁移到 Motus 与真机 Unitree G1。本文逐张讲解全部 4 张图,明确标注 RoboTwin 与 LIBERO 为仿真、G1 为真机,给出教师微调/蒸馏的完整训练配置与数据来源。