Posts

HexaFuture《HexaShell》精读：给编程 Agent（Codex + GPT-6-Astra）一条命令行 robo 和三个 RGB 相机，不训练、不看演示——失败之后由第二个 Agent 读完整 episode 日志（每条命令、每帧图像）做 diagnosis，改测量/执行小工具并跑单元测试，下一轮同一布局重试；学到的经验以「工具代码」的形式留下。测 3D 用的是三角测量（两视角交会 + 已知平面），不用深度网络（Depth Anything V2 在腕相机上误差 ~100 mm，而抓取需要 ~1 cm）。RoboDojo 官方隐藏种子、42 任务、每任务 50 episodes：46.9% 成功率 / 53.2 progress 分，官方榜第一（超 WorldScape-R2SI 的 39.4%、VPP2 的 32.3%）；杂乱布局保留 82% 成功率（学习型 policy 中位数只 20%）；工具还能以几乎零改动迁移到真机（2× PiPER X）。边界也很清晰：memory 81.0% vs 精密插入只有 32.0%——卡脖子的是接触，不是推理。逐张讲解全部 14 张图。

清华 & Dexmal & Loopeva《LoopWAM》精读：真机部署的数据是「成功 + 次优 + 失败」的混合体——全模仿会吸收坏习惯、只留成功又会丢掉「物理交互及其后果」的信息。LoopWAM 的答案是单一 WAM 直接吃全质量谱：source-dependent 噪声采样（专家数据主要负责「视频重建」、rollout 数据主要负责「action-conditioned 世界模型」）+ quality steering（把质量分数写进指令后缀，推理时条件在专家分 q*）+ quality-weighted action 监督（失败动作不给动作损失、但视频损失全保留）。真机 RoboChallenge Table30-V2 三轮闭环把成功率 23.67%→43.33%（+19.7 pp、总分 56.80 排榜一）；RoboTwin 2.0 平均 94.5%、RoboCasa365 总体 49.5%，三个 benchmark 全部同组第一；衬衫折叠单任务后训练两轮再从 13.2% 提到 55.6%。逐张讲解全部 14 张图。

写给即将入职具身智能公司（方奇科技）的自动驾驶背景工程师：一篇文章建立具身智能的完整坐标系。从六层技术栈、2026 行业资金与数据格局、方奇科技的「语义化世界模型 + 图灵学习范式」技术主张讲起，给出自动驾驶→具身的九项能力迁移地图与五个不能直接搬的差异，拆解八块知识栈（机器人学/模仿学习/VLA/仿真Sim2Real/世界模型/数据工程/RL后训练/系统部署），配 30+ 篇论文分层地图与站内精读索引，最后附 8 周动手计划与入职面试定向准备。

一篇打包精读 19 个最常用具身仿真/Benchmark/评测基础设施：Meta-World（50 任务多任务与元 RL）、RLBench（100 任务+无限演示）、CALVIN（四房间 34 任务五步语言链）、RoboCasa（厨房 100+75 任务/2509 物体）、SimplerEnv/SIMPLER（真机策略的 real-to-sim 评测：视觉匹配 vs 变体聚合，MMRV/Pearson 相关）、BEHAVIOR-1K（1000 日常活动+OmniGibson）、VLABench（100 任务 60 原子+40 复合、2000+ 物体、四视角观测）、ManiSkill3（GPU 并行 3 万 FPS、16+ 机器人、real2sim 数字孪生）、RoboTwin 2.0（50 双臂任务+MLLM 代码生成+11k 纹理域随机化）、RoboCasa365（365 任务/2500 厨房场景/2200+ 小时数据/GR00T 预训练）、MagicSim（15 仿真家族确定性批式基础设施）、XPolicyLab（统一策略接口一次接入多榜）、HumanCLAW-Bench（1218 个人形全身寻找-导航-交互 episode，9 个前沿 VLM 最好仅 16.8%）、RoboCurve（真机独立评测：Inspect Robots 框架+RoboDojo-RC 榜）。每个 benchmark 独立成章：定位、任务清单、仿真还是真机、评测协议与指标、插图逐张讲解、生态位；文末附总对比表与 RoboDojo 关系图谱。第二辑按 OpenWAM（2609.07398）评测栈补充五章：LIBERO、LIBERO-Plus、RoboCasa-GR1、EBench、RoboDojo，并为 RoboTwin2.0 注记 Full/Clean2Random 双轨、为 VLABench 与 RoboCasa365 补 OpenWAM 成绩。全部 55 张插图本地收录。

HKUST-GZ & OLA Dimensions《UniWAM》精读：VLA 有语义/推理但没有动力学，WAM 有动力学但 OOD 时不会思考。UniWAM 用 Mixture-of-Transformers 把三个专家拼进一个模型——物理推理器（Qwen3-VL-2B）、世界生成器（Wan2.2-TI2V-5B）、动作预测器——并给每个专家配「对的监督」：低层动作被翻译成自然语言物理描述（move forward 3 cm / tilt left 10 degrees）喂给 VLM，VQA 数据保住语言能力，10,013 小时人+机数据共同预训练。换来的是：LIBERO 99.2%、RoboTwin C2R 68.32%（C2C→C2R 只掉 6.82 个点）、LIBERO-Plus 92.6%、真机指令跟随 IFR 82.5%（超 π0.5 21.9 个点），外加一条 log-linear 的人机共训 scaling law（R²≈0.983）。逐张讲解全部 11 张图。

Physical Intelligence 的 π0.5（arXiv 2504.16054）架构详解：2B PaliGemma 骨干 + 300M Flow Matching 动作专家的两阶段训练——预训练全离散 FAST token、后训练加动作专家；「高层子任务推理 → 低层动作推理」的统一模型分解；用注意力掩码隔离两套动作表示防信息泄漏。本文逐张讲解论文全部 20 张插图（Fig 2-18，含架构总览、注意力掩码、数据配方、机器人系统与全部实验图），并给出图表总索引、架构评析与口述稿。

GigaAI 的 GigaWorld-0 把世界模型定位成 VLA 的「数据引擎」：Video 线（Dreamer 基座 + 外观/视角/模仿三个后训练迁移模型）管「看起来真」，3D 线（FG/BG/Phys/Act 四模块）管「动起来真」，GigaTrain 用 FP8 + 稀疏注意力把 2B MoE 视频基座训起来；只用合成数据训练的 GigaBrain-0 在真机叠衣服、倒果汁、收餐桌等任务上零交互部署成功。本文逐图拆解全部 23 张论文插图与 6 张自绘架构 SVG，深挖 Flow Matching、MoE 路由、控制分支、双重重投影、可微系统辨识等实现细节。

从 DDPM 到 Flow Matching，从 1.2B 到 7B+400M，清华刘松铭团队的 RDT 系列完整拆解：为什么扩散模型特别适合机器人动作生成？多模态动作分布怎么建模？统一动作空间如何跨机器人迁移？三阶段训练配方如何对齐语言与连续控制？

北航 × 中关村实验室 RiskWorld 精读：不用「全局想象未来帧」，而是为每个周围目标单独跑一遍「如果它继续运动会怎样」的 RSSM 潜在动力学推演，从中解码出目标级风险评分。RiskBench 上 F1=63.0%、误报率仅 2.1%，在「谁是风险源」这个精准定位问题上超过了所有基线。

AgiBot & NVIDIA & Princeton《WorldOracle》精读：世界模型把未来画得很像 ≠ 世界真的会那样发生。WorldOracle 把成对的「真实执行」拿出来当标准答案——同一个初始观测 + 同一条低层动作序列，让 ACWM 开环重放，再问四个问题：物理状态对不对（会不会幻觉抓取成功）、机械臂和物体有没有跟着真实轨迹走、交互区域的画面糊不糊、多视角之间是否一致。335 条多段长轨迹（评测集中约 40% 的交互段是失败执行，专考「动作错了你会不会照错演化」）、3 种本体（AgiBot G2 / YAM / 人手，人手零样本）、7 个代表模型：GE-Sim 2.0 独一档（AgiBot 30s 综合 73.86），但长轨迹全都会跌（DreamDojo 50.56→27.08）。文章逐张讲解全部 21 张图。

两篇 2026 年的具身自改进工作，一条「修策略外面的执行系统」，一条「修策略自己的数据分布」。Zetta（清华 AIR + Z-Trans AI，arXiv 2608.16590）冻结 VLA，让代码化的运行时 critic 与恢复技能在线进化，LIBERO-Pro 从 34.5% 拉到 90.8%、RoboCasa 18 任务 73.56% 拉到 93.56%，配套 Z-Infra 把 rollout 吞吐从 1.7 拉到 35.1 条/分钟；EmbodiRSI（上海科技大学等，arXiv 2609.38905）在 Real2Sim2Real 闭环里用「协作纠错 + 自适应采集」递归改进策略，仿真 50.4%→83.5%，真机只用 10 条人工纠错轨迹就以 83.1% 打平 200 条真机示教的 75.0%。本文从 I.J. Good 1965 年的「智能爆炸」讲到 2026 年的两条闭环路线，逐图拆解 17 张论文插图与 4 张自绘 SVG；开篇附零基础前置章节（背景白话、两个生活比喻、全文黑话速查表与 30 分钟阅读路线图），完全没接触过具身智能也能读。

VLA/WM/WAM + 比亚迪MOT + 四项目面试全书（5300+ 行）：原理与伪代码；第一人称口述；预训练后训练；具身/VLA岗位指南；ML八股/概率/手写题/论文；按真实被问原题整理的实战包（自我介绍、手撕FM、yaw、RL数据单位、离职与反问、自驾vs具身迁移）。

从 configs/model/simwam_navsim.yaml 第 1 行开始，逐层追踪 SimWAM 的完整逻辑链：两个专家怎么协作？Isolated Attention Mask 怎么实现训练时借力、推理时独立？联合 Flow Matching 训练的损失怎么算？FlowGRPO 的 SDE 采样、PDM 奖励、LoRA 微调怎么串起来？每段代码都标注了源文件路径。

清华 & NVIDIA《PrismWAM: Decoupling State Representations in World Action Models》精读：WAM 都拿视频模型的 latent 当「世界状态」，可视频 latent 把「桌子什么颜色」（语义，动作改不动）和「物体在哪儿」（物理状态，动作唯一能改变的东西）搅在一起。PrismWAM 把任务拆成 语义规划 → 物理推演 → 可执行动作：RGB 流只远观一张目标图当训练期老师，深度流管细粒度状态演化，动作塔只看深度 rollout。不用任何具身动作预训练，仅 2,300 小时深度数据，RoboTwin-C2R 均值 70.57%（15B 的 PrismWAM* 达 83.67%），RoboDojo 得分 36.23 超过 OpenWAM-α 与 10 万小时级的 Xiaomi-Robotics-1。本文逐张讲解全部 6 张图并附完整结果表。

Northeastern/UGA/EmbodyX《Flash-WAM: Modality-Aware Distillation for World Action Models》精读：WAM 每块要跑几十步去噪，实时控制无从谈起；而现成的步蒸馏方法一用到「视频+动作」联合模型上就崩。原因是一致性函数的梯度随噪声 σ 二次消失，而动作恰好要在低噪声段精修。Flash-WAM 给动作流换成线性梯度的一致性函数、视频流保留标准函数，在 LingBot-VA 上把 8.1 秒压到 347 毫秒（23×）仍保住 81.4% 成功率，并迁移到 Motus 与真机 Unitree G1。本文逐张讲解全部 4 张图，明确标注 RoboTwin 与 LIBERO 为仿真、G1 为真机，给出教师微调/蒸馏的完整训练配置与数据来源。

Robotera 与清华《Video Prediction Policy 2: Predict Better, Act Better》精读（含开源权重链接）：VPP2 先在大规模操作视频上做事件级续预训练，用「详细 caption + 完整事件轨迹」把指令到未来的映射变得确定；再后训练并蒸馏成单步视觉规划器，最后用 MoT 动作专家学隐式逆动力学。视频预测指令跟随率 14B 反超 64B Cosmos3 达 11 个点；真机 ALOHA 零样本 58.5%（π0.5 40.0%）；LIBERO-Pro 45.0%、LIBERO-OOD 63.9%、RoboDojo 仿真 32.26% 均为评测中最高。视频模型权重（Stage-1/Stage-2）已开源在 Hugging Face 与 ModelScope，RoboDojo 训练代码同步放出。本文逐张讲解论文全部 10 张图，明确标注每项任务是仿真还是真机，并给出数据来源与三阶段训练的完整配置。

NVIDIA《World Action Models are Zero-shot Policies》精读：DreamZero 用 14B 视频扩散骨干联合预测未来视频与动作，在 500 小时异构真机数据上训练，零样本任务进度超过最强 VLA 两倍；再用 DreamZero-Flash 解耦视频/动作噪声表，把 5.7 秒的推理压到 150 毫秒，实现 7Hz 实时闭环。本文逐张讲解论文全部 16 张图（总览、架构、注意力掩码、自回归 vs 双向、噪声表、数据分布、评测设置、seen/unseen 任务、后训练、跨本体迁移、少样本适配、自由任务、失败案例），附四张结果表、图表总索引与自测题。

写给用Cosmos 3微调驱动真机机械臂（天机Marvin）抓可乐却一个月没跑通的团队：全文按‘问题→证据→方案→执行’重组——先解剖‘动作丝滑但抓不到/联训视频太慢/视频幻觉’三大症状与数据够不够（文献数字定论），再进证据章系统调研Cosmos生态落地项目：3.1 Cosmos 3论文深读（arXiv 2606.02800：mid-training/后训练课程与MT-init红利、DROID数据与窗口过滤三步闸门、具身实验全景RoboLab/RoboArena/MolmoSpaces/LIBERO-10、后训练工程四步与关键旋钮、Cosmos3-Edge-Policy-DROID同配方不同基座）、Cosmos Policy原版配方、NVIDIA官方SFT cookbook、首篇WAM sim2real论文、3.7节实测检索的GitHub现成仓库、3.8节精读官方Edge端侧部署教程与损失平衡三级出处（Cosmos 3报告§4.2.2→cosmos-framework源码→教程Table 1，官方带动作配方一律loss_scale 10/10）、3.9节真实两阶段RTC管线逐项拆解（193条双任务数据、chunk32→64动机剖析、损失权重量级判定法、嫌疑排序S0S7）；第八节按官方源码拆解策略模式联合输出，给出四模式正面方案与七角度排查树；MuJoCo还是Isaac Sim、开环闭环怎么测；新增第五节MuJoCo仿真训练全流程（四层失败定位、必调物理参数、脚本专家采数据、仿真混真机训练、固定种子回归台、域随机化sim2real对齐清单）与7.4训练预算（步数公式+锚点表：一版≈15万优化步@batch64=1000万样本，真机阶段二仅2%预算）和收敛四道闸G1G4、真机/仿真两套具体训练方案，附四周重建计划与自驾→具身方法论映射。

Black Forest Labs 官方技术报告《FLUX 3 Action》精读：从多模态 FLUX 3 骨干衍生的 7B 世界行动模型（WAM），联合预测未来视频与机器人动作，在 RoboLab-120 上以不到对手一半的参数同时赢下精度与速度。本文逐张讲解报告全部 20 张图（Pareto 前沿、架构总览、时间步分布网格搜索、DROID 训练配方、CFG 网格、EMA 18 变体、蒸馏加速、真机盲测、混合策略），附图表总索引、架构评析、口述稿与自测题。官方交互图均按其公开数据重绘。

从 train_flux_fast.py 第 1 行开始，逐层追踪 Flow-GRPO 的完整逻辑链：采样阶段做了什么？reward 怎么变成 advantage？训练阶段的计算图是怎么构造的？loss 为什么那样设计？梯度如何从最后一个 log_prob 传到 LoRA 参数？每段代码都标注了源文件行号。