精读 HexaShell:不训练、不演示,纯靠编程 Agent「修 Bug」——给机器人造工具,打到 46.9% SOTA

HexaFuture《HexaShell》精读:给编程 Agent(Codex + GPT-6-Astra)一条命令行 robo 和三个 RGB 相机,不训练、不看演示——失败之后由第二个 Agent 读完整 episode 日志(每条命令、每帧图像)做 diagnosis,改测量/执行小工具并跑单元测试,下一轮同一布局重试;学到的经验以「工具代码」的形式留下。测 3D 用的是三角测量(两视角交会 + 已知平面),不用深度网络(Depth Anything V2 在腕相机上误差 ~100 mm,而抓取需要 ~1 cm)。RoboDojo 官方隐藏种子、42 任务、每任务 50 episodes:46.9% 成功率 / 53.2 progress 分,官方榜第一(超 WorldScape-R2SI 的 39.4%、VPP2 的 32.3%);杂乱布局保留 82% 成功率(学习型 policy 中位数只 20%);工具还能以几乎零改动迁移到真机(2× PiPER X)。边界也很清晰:memory 81.0% vs 精密插入只有 32.0%——卡脖子的是接触,不是推理。逐张讲解全部 14 张图。

2026年10月21日 · 7 分钟 · 1327 字 ·