🎬 视频生成

NVIDIA Cosmos 3 用 Mixture-of-Transformers 双塔架构将语言、图像、视频、音频、动作五模态统一进单一世界基础模型。Reasoner 塔负责语义推理，Generator 塔负责高保真生成，两塔通过共享跨模态注意力深度耦合。在 8 项物理 AI 基准上取得开放模型第一，并以 OpenMDW-1.1 宽松许可证开源。

DriveDreamer 是首个完全从真实驾驶数据构建的自动驾驶世界模型。它用扩散模型配合 ControlNet 机制处理 HDMap、3D 框、文本和动作等多模态结构化条件，通过两阶段训练同时实现可控驾驶视频生成与未来动作预测。作为驾驶世界模型的奠基之作，它开创了从真实场景理解到未来预测的统一范式。

GigaAI 的 GigaWorld-0 把世界模型定位成 VLA 的「数据引擎」：Video 线（Dreamer 基座 + 外观/视角/模仿三个后训练迁移模型）管「看起来真」，3D 线（FG/BG/Phys/Act 四模块）管「动起来真」，GigaTrain 用 FP8 + 稀疏注意力把 2B MoE 视频基座训起来；只用合成数据训练的 GigaBrain-0 在真机叠衣服、倒果汁、收餐桌等任务上零交互部署成功。本文逐图拆解全部 23 张论文插图与 6 张自绘架构 SVG，深挖 Flow Matching、MoE 路由、控制分支、双重重投影、可微系统辨识等实现细节。