https://auto-driving-blog.pages.dev/tags/%EF%B8%8F-%E5%AE%98%E6%96%B9%E5%BC%80%E6%BA%90/ Recent content in 🛠️ 官方开源 on Elon's AD Insight https://auto-driving-blog.pages.dev/images/share.png https://auto-driving-blog.pages.dev/images/share.png Hugo zh-cn Thu, 29 Oct 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/paper-reading/ctrl-world%E7%B2%BE%E8%AF%BB/ Thu, 29 Oct 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/paper-reading/ctrl-world%E7%B2%BE%E8%AF%BB/ 斯坦福+清华《Ctrl-World: A Controllable Generative World Model for Robot Manipulation》（arXiv 2510.10125，ICLR 2026，Chelsea Finn 组，Yanjiang Guo / Lucy Xiaoyang Shi 共同一作）精读，含官方 GitHub 全解：核心命题——VLA 的评测与改进太贵（真机 rollout + 专家标注），改到「想象空间」里做 policy-in-the-loop。三个支撑件：①联合多视角预测（含腕部相机，治好单视角幻觉与「手腕视野剧变」不一致）②帧级动作条件（厘米级动作控制，1 秒动作块逐帧注入）③位姿条件记忆检索（20 秒+ 长程连贯）。从 SVD 视频扩散模型初始化，DROID 95k 轨迹/564 场景训练。两大用途实测：A) <strong>想象中排名=真机排名</strong>——π0/π0-fast/π0.5 在 7 任务上真机 vs 世界模型指令跟随相关 y=0.87x−0.04、成功率 y=0.81x−0.11；B) <strong>合成成功轨迹做 SFT，策略成功率平均 +44.7%</strong>（Spatial 0.29→0.88、Shape 0.44→0.93、平均 0.39→0.83）。官方仓库 Robert-gyj/Ctrl-World（575★，MIT，含 VLAW 后训练管线）四条跑法逐命令讲解：DROID 回放、键盘交互、π0.5 策略进环（零样本到新场景）、论文评测协议；训练/后训脚本与 ckpt 清单全解。深度原理全覆盖：问题形式化两方程、SVD 底座训练目标与超参（3层MLP动作投影、token 账本 B×12×2880、100k步2×8H100）、三改造机制、关节速度→笛卡尔位姿的 2 层 MLP 适配器桥、Table1/2 质量与消融数字、Algorithm 1 逐行（400 条 rollout 留 25–50 条、2k 步微调、38.7%→83.4%）、四条创新点与「三宗罪」靶子、DROID 数据集专节（95,599 轨迹/76k 成功+19k 失败/564 场景与失败数据为何是资产）、六组实验总目录 E1–E6 与附录逐任务对照表节选。9 张论文插图逐图讲解 + GitHub 演示媒体（README 横幅、2 个真机 vs 世界模型长程 GIF、2 组三视角合成轨迹 mp4）全部贴进博客。