精读 Ctrl-World:把 VLA 放进「可控世界模型」里想象着测、想着改——ICLR 2026 + 官方仓库 4 条跑法与演示全收录
斯坦福+清华《Ctrl-World: A Controllable Generative World Model for Robot Manipulation》(arXiv 2510.10125,ICLR 2026,Chelsea Finn 组,Yanjiang Guo / Lucy Xiaoyang Shi 共同一作)精读,含官方 GitHub 全解:核心命题——VLA 的评测与改进太贵(真机 rollout + 专家标注),改到「想象空间」里做 policy-in-the-loop。三个支撑件:①联合多视角预测(含腕部相机,治好单视角幻觉与「手腕视野剧变」不一致)②帧级动作条件(厘米级动作控制,1 秒动作块逐帧注入)③位姿条件记忆检索(20 秒+ 长程连贯)。从 SVD 视频扩散模型初始化,DROID 95k 轨迹/564 场景训练。两大用途实测:A) 想象中排名=真机排名——π0/π0-fast/π0.5 在 7 任务上真机 vs 世界模型指令跟随相关 y=0.87x−0.04、成功率 y=0.81x−0.11;B) 合成成功轨迹做 SFT,策略成功率平均 +44.7%(Spatial 0.29→0.88、Shape 0.44→0.93、平均 0.39→0.83)。官方仓库 Robert-gyj/Ctrl-World(575★,MIT,含 VLAW 后训练管线)四条跑法逐命令讲解:DROID 回放、键盘交互、π0.5 策略进环(零样本到新场景)、论文评测协议;训练/后训脚本与 ckpt 清单全解。深度原理全覆盖:问题形式化两方程、SVD 底座训练目标与超参(3层MLP动作投影、token 账本 B×12×2880、100k步2×8H100)、三改造机制、关节速度→笛卡尔位姿的 2 层 MLP 适配器桥、Table1/2 质量与消融数字、Algorithm 1 逐行(400 条 rollout 留 25–50 条、2k 步微调、38.7%→83.4%)、四条创新点与「三宗罪」靶子、DROID 数据集专节(95,599 轨迹/76k 成功+19k 失败/564 场景与失败数据为何是资产)、六组实验总目录 E1–E6 与附录逐任务对照表节选。9 张论文插图逐图讲解 + GitHub 演示媒体(README 横幅、2 个真机 vs 世界模型长程 GIF、2 组三视角合成轨迹 mp4)全部贴进博客。