https://auto-driving-blog.pages.dev/tags/%EF%B8%8F-vlm/ Recent content in 👁️ VLM on Elon's AD Insight https://auto-driving-blog.pages.dev/images/share.png https://auto-driving-blog.pages.dev/images/share.png Hugo zh-cn Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/paper-reading/drivevlm%E7%B2%BE%E8%AF%BB/ Fri, 17 Jul 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/paper-reading/drivevlm%E7%B2%BE%E8%AF%BB/ DriveVLM 是首个系统性地把视觉语言模型用于自动驾驶场景理解与推理的工作。它提出双系统架构——VLM 慢系统做思维链推理输出高层决策，传统规划器快系统做安全执行。在 CARLA 闭环评测中大幅超越基线，为 VLA 的 Dual-System 范式奠定基础。 https://auto-driving-blog.pages.dev/posts/knowledge/%E4%BB%80%E4%B9%88%E6%98%AFvla%E6%A8%A1%E5%9E%8B/ Fri, 17 Jul 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/knowledge/%E4%BB%80%E4%B9%88%E6%98%AFvla%E6%A8%A1%E5%9E%8B/ VLA 模型将视觉理解、语言推理和动作执行统一到一个端到端网络中，引入大语言模型的常识推理能力解决自动驾驶长尾场景问题。本文剖析其视觉编码器、LLM 与动作头的标准三组件架构，以及从 LLaVA、RT-2、DriveVLM 到 VLA 的完整演进路线。VLA 正成为后端到端时代自动驾驶的新技术范式。 https://auto-driving-blog.pages.dev/posts/knowledge/vlm%E8%A7%86%E8%A7%89%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%85%A5%E9%97%A8%E8%AF%A6%E8%A7%A3/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.pages.dev/posts/knowledge/vlm%E8%A7%86%E8%A7%89%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%85%A5%E9%97%A8%E8%AF%A6%E8%A7%A3/ VLM（视觉语言模型）是 VLA 的视觉理解基础。本文从 CLIP 奠基到 GPT-4V/Gemini 前沿，系统梳理架构演进（ViT → Q-Former → LLM）、训练三阶段（对齐→指令微调→RLHF）及驾驶 VLM 的适配方案。