精读 Ctrl-World:把 VLA 放进「可控世界模型」里想象着测、想着改——ICLR 2026 + 官方仓库 4 条跑法与演示全收录

斯坦福+清华《Ctrl-World: A Controllable Generative World Model for Robot Manipulation》(arXiv 2510.10125,ICLR 2026,Chelsea Finn 组,Yanjiang Guo / Lucy Xiaoyang Shi 共同一作)精读,含官方 GitHub 全解:核心命题——VLA 的评测与改进太贵(真机 rollout + 专家标注),改到「想象空间」里做 policy-in-the-loop。三个支撑件:①联合多视角预测(含腕部相机,治好单视角幻觉与「手腕视野剧变」不一致)②帧级动作条件(厘米级动作控制,1 秒动作块逐帧注入)③位姿条件记忆检索(20 秒+ 长程连贯)。从 SVD 视频扩散模型初始化,DROID 95k 轨迹/564 场景训练。两大用途实测:A) 想象中排名=真机排名——π0/π0-fast/π0.5 在 7 任务上真机 vs 世界模型指令跟随相关 y=0.87x−0.04、成功率 y=0.81x−0.11;B) 合成成功轨迹做 SFT,策略成功率平均 +44.7%(Spatial 0.29→0.88、Shape 0.44→0.93、平均 0.39→0.83)。官方仓库 Robert-gyj/Ctrl-World(575★,MIT,含 VLAW 后训练管线)四条跑法逐命令讲解:DROID 回放、键盘交互、π0.5 策略进环(零样本到新场景)、论文评测协议;训练/后训脚本与 ckpt 清单全解。深度原理全覆盖:问题形式化两方程、SVD 底座训练目标与超参(3层MLP动作投影、token 账本 B×12×2880、100k步2×8H100)、三改造机制、关节速度→笛卡尔位姿的 2 层 MLP 适配器桥、Table1/2 质量与消融数字、Algorithm 1 逐行(400 条 rollout 留 25–50 条、2k 步微调、38.7%→83.4%)、四条创新点与「三宗罪」靶子、DROID 数据集专节(95,599 轨迹/76k 成功+19k 失败/564 场景与失败数据为何是资产)、六组实验总目录 E1–E6 与附录逐任务对照表节选。9 张论文插图逐图讲解 + GitHub 演示媒体(README 横幅、2 个真机 vs 世界模型长程 GIF、2 组三视角合成轨迹 mp4)全部贴进博客。

2026年10月29日 · 8 分钟 · 1586 字 · 

精读 EmbodiedEvo:让编程 Agent 在一个 Playground 场景里「长经验」,冻住交给新场景——RoboDojo-Sim 37.82% 超全部官方已验证结果

EmbodiedEvo(Navers Lab / Einsia.AI / 清华,arXiv 2610.18867)精读:不是训练 VLA,而是让 coding agent(Astra/Sol/Luna)在单个 Playground 场景里边跑代码边沉淀可复用的 Skills(控制过程)与 Lessons(失败模式/恢复经验),把 harness 冻结后交给全新 Test agent,在未见过的布局上直接用。RoboDojo-Sim:平均 44.48 分 / 37.82% 成功率,超越当时全部官方已验证结果;Memory 类任务 71.90/69.67%(下一名 VPP2 仅 55.56% SR)。Astra 的经验还能迁给更弱的 Sol/Luna(+8.86 / +5.50 pp)。Skills/Lessons 相比原始交互历史,同等性能下 Test 阶段执行成本低 53%。逐张讲解全部 15 张插图,覆盖总览、方法框架、失败轨迹、能力演化、经验迁移与代码示例。

2026年10月22日 · 5 分钟 · 919 字 · 

精读 X2Real:给通用机器人策略造一个「可信考场」——真机-仿真 0.84 相关性、10 维能力 44 任务、还能防「刷榜」

X Square Robot《X2Real Technical Report》精读:针对现有仿真基准的三大缺陷(sim2real 有差距、任务分布太窄、训练评测不分家导致刷榜),提出三条原则——faithfulness / diversity / fairness。做法:把仿真视觉与物理按真机逐项校准(StablePD + CMA-ES 标定控制增益,末端轨迹毫米级对齐),让只用真机数据训练的模型在仿真里测出的成绩与真机成绩达到 0.84 线性相关(纯通用任务上 0.96/0.99);任务覆盖 10 个能力维度、44 个层级化长程任务(38 桌面 + 3 移动 + 3 挑战),每个任务表示成可执行的 Task DAG——成功判定、帧级子任务标注、10 分制 progress 打分、失败归因全由同一张图驱动;三轴正交域随机化 + 严格训练/评测分离防作弊;底层是 YAML 物理 DSL 驱动的 Mana 仿真生态(agent 可闭环改任务、造数据),附带约 300 小时带帧级标注的仿真轨迹数据集。用这套考场评了 4 个通用 policy:最强者 ID 53.9% → OOD 34.3%;GPT-6-Astra 当 policy 拿 36.15% 但推理一次要 30 秒以上;12 层堆塔实验证明自动合成数据比遥操作数据更好训(3.75 vs 1.90 层)。逐张讲解全部 24 张图。

2026年10月21日 · 7 分钟 · 1473 字 · 

精读 HexaShell:不训练、不演示,纯靠编程 Agent「修 Bug」——给机器人造工具,打到 46.9% SOTA

HexaFuture《HexaShell》精读:给编程 Agent(Codex + GPT-6-Astra)一条命令行 robo 和三个 RGB 相机,不训练、不看演示——失败之后由第二个 Agent 读完整 episode 日志(每条命令、每帧图像)做 diagnosis,改测量/执行小工具并跑单元测试,下一轮同一布局重试;学到的经验以「工具代码」的形式留下。测 3D 用的是三角测量(两视角交会 + 已知平面),不用深度网络(Depth Anything V2 在腕相机上误差 ~100 mm,而抓取需要 ~1 cm)。RoboDojo 官方隐藏种子、42 任务、每任务 50 episodes:46.9% 成功率 / 53.2 progress 分,官方榜第一(超 WorldScape-R2SI 的 39.4%、VPP2 的 32.3%);杂乱布局保留 82% 成功率(学习型 policy 中位数只 20%);工具还能以几乎零改动迁移到真机(2× PiPER X)。边界也很清晰:memory 81.0% vs 精密插入只有 32.0%——卡脖子的是接触,不是推理。逐张讲解全部 14 张图。

2026年10月21日 · 7 分钟 · 1327 字 ·