🦾 人形机器人

UC Berkeley《SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model》（arXiv 2610.28480，CoRL 2026 Oral，Qiayuan Liao / Yiyang Shao / Junfeng Long…Pieter Abbeel、Koushil Sreenath）精读：与 具身 RL 调研里的 SONIC 同赛道（大规模动捕跟踪），但把「模型免费 PPO 碾算力」换成「一个可微世界模型摊销全部动作」。核心洞察：千差万别的动作共享同一套人形混合刚体动力学——用一个从仿真日志拟合的可微世界模型学这份共享结构，短视野想象 rollout + 穿模反传（BPTT）给策略解析梯度；世界模型比 MuJoCo Warp 批量快 10×+，8 步预测误差在 1→264 小时数据上保持稳定。结果：1×H100 3 小时超过 SONIC 发布 checkpoint 的 0.90 归一化回报（>50× 墙钟、>1000× GPU 时：3 vs 21k）；129,514 条基准动作失败 25 条 vs SONIC 179 条（含其全部翻转与侧滚），双卡 9.8 小时清零；真机 Unitree G1 全动作库零逐动作调参；速度编码器下游接口 RL 训练胜过蒸馏基线。官网 supermimic.github.io 给出完整算力账本与 FAQ。GitHub 侧（重点讲解）：官方代码确认未放出，但论文 10-20 投稿、次日即现复现潮——事实标准 supermimic_vibed（706★，ETH 非官方、自述 1 小时 vibe-code、Isaac Lab 3+MuJoCo-Warp、LAFAN1 单卡 1.47h 达 0.829/0 失败）领跑，另有 awesome-supermimic 目录（312★）、Motphys/Uni-SuperMimic（195★，UniLab 三后端，LAFAN1 0.827、BONES-SEED 12.9 万条 0.9243/失败 0.27%）、CuboiLeo/SuperMimic-Reproduced（308★，论文逐条转录+5090 1.66h 复现 0.82）与向灵巧手/四足/机械臂外溢的改造潮。逐图讲解全部 9 张插图（论文 7 + 官网 2）。

一篇调研讲清「具身智能的强化学习」：先小白开篇（奖励从哪来、为什么难：重置/稀疏/sim2real/大模型不稳），再给四条战线全景地图——①底层运动控制 RL：SONIC（Science Robotics 2026，arXiv 2511.07820）把「运动跟踪」当可扩展 RL 任务，PPO+密集跟踪奖励、零手工奖励工程，1.2M→42M 参数、1 亿+帧/700 小时动捕、2.1 万 GPU 时、最多 128 GPU，统一 token 空间接 VR 遥操作与 GR00T VLA；②VLA 的 RL 后训练谱系：iRe-VLA（RL+SFT 迭代稳训练）、VLA-RL（过程奖励模型，LIBERO 81.0% vs SFT 76.5%）、RLDG（RL 产数据蒸馏通才）、ConRFT（离线+在线一致性策略）、RLVLA 实证（PPO/GRPO/DPO）、π*0.6 Recap（RL Token 蒸馏进通才）、BORA（离线→在线残差）、FIND（真机自主练习：π0.5+残差离线 RL，8 任务 55%→71.9%）；③工程框架：FluxVLA Engine（arXiv 2609.17210）标准化 reward/advantage-weighted 学习、可选 RLinf 在线 RL、FSDP 分布式、LIBERO/RoboCasa/RoboTwin/RoboDojo 评测与 RTC 推理加速；④仿真 RL 底座（Isaac Lab/ManiSkill PPO-SAC，见 Benchmark 篇）。11 张论文插图逐张讲解，附方法对比总表与选型 Q&A。