Task: Driving Dense Geometry Perception / Vision-Geometry-Action Driving
Method: DVGT, DVGT-2, Dense Point Map, Streaming Geometry, Temporal Causal Attention, Historical Cache
Venue: arXiv
Year: 2025-2026
Paper: DVGT https://arxiv.org/abs/2512.16919 ; DVGT-2 https://arxiv.org/abs/2604.00813
Code: https://github.com/wzzheng/DVGT
1. 摘要
DVGT 系列回答的是同一个问题：自动驾驶能否在 object boxes、BEV features 和 occupancy 之外，直接学习一个真实尺度的 dense metric geometry 中间表示，并把这个表示进一步接到规划动作上？
第一篇 DVGT 更像“驾驶几何底座”。它从未给定位姿的多视角驾驶图像序列中，重建第一帧 ego 坐标系下的全局稠密 3D point map，并估计每帧 ego pose。它的重点不是检测框，也不是 BEV 网格，而是让模型直接输出 metric-scaled geometry：道路表面在哪里、相机运动如何变化、多相机之间看到的空间如何对齐。
第二篇 DVGT-2 则把问题从 geometry perception 推进到 Vision-Geometry-Action（VGA）。DVGT 证明 dense geometry 可以被学出来，但 batch 式多帧处理很难进入真实在线驾驶链路；DVGT-2 因此引入 streaming 结构、temporal causal attention、historical feature cache 和 sliding-window 推理，让 dense geometry 可以在线更新，并进一步服务 trajectory planning。
核心论点：DVGT 系列不是在用 dense point map 替代所有 BEV / sparse query 方法，而是在补一条被端到端驾驶长期压缩掉的物理接口：从 vision 到 action 之间需要一个真实尺度、可时序更新、可规划使用的 geometry grounding。
2. 问题与动机
自动驾驶视觉感知长期有三类主流表示。Object boxes 稀疏、可解释、贴近预测；BEV features 统一空间、方便多任务共享；occupancy 能回答 free / occupied / unknown，适合做安全兜底。但这三类表示都有一个共同代价：它们会把真实世界的表面结构、细粒度几何和度量尺度压缩掉。
| 表示 | 优点 | 被压缩掉的几何信息 |
|---|---|---|
| Object boxes | 稀疏、贴近检测和预测 | 物体表面、free space、非盒状障碍物 |
| BEV features | 统一空间，方便检测、地图、规划共享 | 高度结构、点级表面、相机运动细节 |
| Occupancy | 表达空间可通行性 | 表面连续性、细粒度形状、点级对应关系 |
| Dense point map | 直接表达 metric 3D structure | 计算更重，时序和在线推理更难 |
DVGT 的动机来自这个缺口：通用视觉几何模型能做多视角重建，但通常没有面向驾驶多相机、多帧、动态场景设计；自动驾驶系统有强任务闭环，却常把几何压缩成 box、BEV 或 voxel。DVGT 系列试图把这两条线接上。
这个问题在 DVGT-2 中进一步变尖锐。即使 DVGT 能输出 dense point map，如果它只能离线 batch 处理，就仍然像一个重建模块，而不是驾驶系统的一部分。在线自动驾驶要求当前帧输出只能依赖历史信息，不能看未来帧；历史特征需要缓存复用，不能每次重新处理完整窗口；几何结果还要能被 planning head 消化，而不是停在可视化重建。
因此 DVGT 系列的版本演进可以压成一句话：
DVGT: Vision -> Metric Geometry |
3. 核心洞察
洞察 1：驾驶几何不是单帧深度，而是跨视角、跨时间的统一空间
单帧图像只能提供局部外观线索，多相机同一时刻提供空间互补，多帧序列又包含 ego motion 和动态变化。DVGT 的关键不是简单加一个 depth head，而是让模型同时处理三个几何关系：
- intra-view local relation：单个相机内部的局部纹理、边缘和表面线索；
- cross-view spatial relation：不同相机对同一个三维空间的互补观测；
- cross-frame temporal relation：相机随自车运动后的时序对应和场景动态。
这三个关系合在一起，dense point map 才不只是“每张图各估一张深度”，而是一个统一 ego 坐标系下的全局几何结果。
洞察 2：dense geometry 的价值在于物理 grounding，不在于替代所有中间表示
DVGT 系列容易被误解成“BEV 不重要了”或“sparse query 可以被 dense point map 替代”。更准确的理解是：dense geometry 提供的是物理 grounding，它可以给 BEV、occupancy、object query 或 planning feature 提供更稳定的空间底座。
这点在自动驾驶里很重要。一个 planning head 可以基于 sparse scene tokens 生成轨迹，也可以基于 occupancy cost 避障，但它最终面对的是物理空间：路面高度、障碍物表面、遮挡边界、相机运动误差。DVGT 的 dense point map 正是把这些被压缩的几何因素重新显式化。
洞察 3：从 geometry 到 action 的关键不是多一个 head，而是改成 streaming 系统
DVGT-2 的真正变化不是“在 DVGT 后面接一个 trajectory head”这么简单，而是把几何模型改造成在线系统。它引入 temporal causal attention，保证当前帧只看历史；引入 historical cache，复用过去特征；引入 sliding-window streaming strategy，控制时序上下文和计算开销。
这一步让 dense geometry 从离线重建结果变成可持续更新的驾驶状态。只有完成这个转变，geometry 才能进入 action 链路；否则它只是一个漂亮但难以部署的 3D 重建模块。
4. 方法设计
4.1 整体架构
DVGT 和 DVGT-2 的官方架构图分别对应系列的两个阶段：前者强调 batch 式 dense geometry perception，后者强调 streaming VGA driving。
更细地拆开，DVGT 的结构可以理解为三层 attention 加两个几何输出头：
DVGT: batch dense geometry perceptionInput:
multi-camera image sequence
{I_{t-k:t}^{cam_1}, …, I_{t-k:t}^{cam_N}}
camera poses are not given as fixed supervision interface┌────────────────────────────────────────────┐ │ 1. Visual Tokenization │ │ DINO / visual backbone │ │ image patches -> per-view visual tokens │ └────────────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────┐ │ 2. Intra-view Local Attention │ │ within each camera image │ │ texture / edge / local surface cues │ └────────────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────┐ │ 3. Cross-view Spatial Attention │ │ same timestamp, multiple cameras │ │ align overlapping and complementary views │ └────────────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────┐ │ 4. Cross-frame Temporal Attention │ │ multiple timestamps │ │ infer ego motion and temporal consistency │ └────────────────────────────────────────────┘ │ │ ▼ ▼ ┌───────────────────┐ ┌──────────────────────┐ │ Point Map Head │ │ Ego Pose Head │ │ global dense 3D │ │ per-frame ego poses │ │ point map in ego0 │ │ camera/ego trajectory │ └───────────────────┘ └──────────────────────┘
DVGT-2 则把 batch 几何模型改造成在线 VGA pipeline：
DVGT-2: streaming Vision-Geometry-ActionAt time t:
current multi-camera frames I_t
historical cache C_{t-1}
no future frames are allowed┌─────────────────────────────────────────────┐ │ 1. Current-frame Visual Encoder │ │ multi-camera images -> current tokens │ └─────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────┐ │ 2. Temporal Causal Attention │ │ query: current tokens │ │ key/value: historical cache + current │ │ constraint: only information <= t │ └─────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────┐ │ 3. Historical Feature Cache │ │ cache update / feature reuse │ │ sliding window controls memory length │ └─────────────────────────────────────────────┘ │ │ ▼ ▼ ┌───────────────────┐ ┌──────────────────────┐ │ Geometry Decoder │ │ Planning Adapter │ │ current dense 3D │─────▶│ geometry-aware state │ │ point map / cues │ │ for action decoding │ └───────────────────┘ └──────────────────────┘ │ ▼ ┌──────────────────────┐ │ Trajectory Head │ │ ego future trajectory│ └──────────────────────┘
如果把系列的接口关系单独抽出来，关键变化是：DVGT 输出的是几何状态，DVGT-2 则把几何状态变成 action 的条件。
Representation interfaceCamera images
│
├── BEV-centric route:
│ images -> BEV feature -> detection / map / planning
│
├── Sparse-query route:
│ images -> object/map/motion queries -> planning
│
└── DVGT series:
images -> dense metric geometry
│
├── DVGT: point map + ego poses
└── DVGT-2: streaming geometry + trajectory planning
4.2 DVGT：batch dense geometry perception
DVGT 的输入是多相机、多帧驾驶图像序列，目标是在第一帧 ego 坐标系下恢复全局 dense point map，并估计每帧 ego pose。这里有两个设计重点。
第一，模型不把相机配置写死成固定几何先验。量产车队中相机数量、视场角、安装位置可能发生变化；如果方法过度依赖固定外参或硬编码投影，跨车型迁移会困难。DVGT 通过视觉 token 和注意力机制学习视角之间的几何关系，希望让模型具有更强的相机配置适应性。
第二，模型输出的是 metric-scaled geometry，而不是只输出 relative depth 或局部深度图。对于自动驾驶来说，尺度是规划接口的一部分：一块障碍物离车 3 米还是 6 米，直接影响轨迹选择。DVGT 把 dense point map 放在 ego 坐标系下，本质上是在给下游提供可度量的空间状态。
4.3 DVGT-2：streaming geometry 到 action
DVGT-2 保留 dense geometry 的核心思想，但把系统约束换成在线自动驾驶。这里的难点不只是速度，而是因果性和状态复用。
| 设计 | 解决的问题 | 对规划的意义 |
|---|---|---|
| Temporal causal attention | 当前帧不能使用未来帧信息 | 避免训练/推理不一致 |
| Historical feature cache | 避免重复处理全部历史帧 | 让 dense geometry 有在线可能性 |
| Sliding-window streaming | 控制历史上下文长度 | 在记忆、延迟、算力之间折中 |
| Planning head / adapter | 将几何特征接到轨迹输出 | 检验 geometry 是否真正服务 action |
DVGT-2 与 VLA 的关系也需要分清。VLA 借助语言或大模型语义能力处理复杂指令和常识推理；VGA 强调 metric geometry 作为物理约束。二者不互斥，但解决的问题不同：
VLA: Vision -> Language / semantic reasoning -> Action |
VLA 可以回答“前方黄色车辆后面停一下”这种语义问题；VGA 更关注“道路边界在哪里、可通行空间在哪里、障碍表面离自车多远”这种物理问题。自动驾驶最终可能同时需要二者，但 DVGT-2 的贡献是把 geometry 这条路线推到了 action 层。
4.4 从 DVGT 到 DVGT-2：版本演进表
| 维度 | DVGT | DVGT-2 |
|---|---|---|
| 核心任务 | driving dense geometry perception | Vision-Geometry-Action driving |
| 输入方式 | batch 多相机多帧序列 | streaming 多相机输入 |
| 时序约束 | cross-frame temporal attention | temporal causal attention |
| 历史信息 | batch 内统一处理 | historical feature cache + sliding window |
| 主要输出 | dense point map + ego poses | dense geometry + trajectory planning |
| 系统定位 | 几何感知底座 | 在线规划中间表示 |
| 关键风险 | dense geometry 较重，在线性不足 | geometry 到 action 的收益需覆盖计算成本 |
这张表也解释了为什么两篇应该写成一篇：DVGT-2 不是另起炉灶的新路线，而是 DVGT 从“能否学出驾驶几何”到“几何能否进入在线规划”的直接延伸。
5. 实验与分析
DVGT 系列的实验不应按传统检测论文的 mAP 逻辑理解。它真正要证明的是三件事：第一，dense point map 和 ego pose 能否在驾驶数据上稳定恢复；第二，streaming 改造后几何质量和推理效率是否还能保住；第三，geometry feature 接入 planning 后是否能在规划评估中体现价值。
| 实验层级 | 对应版本 | 证明的问题 |
|---|---|---|
| Dense geometry quality | DVGT | 多相机驾驶序列能否恢复 metric 3D structure |
| Ego pose estimation | DVGT | 模型是否理解自车运动和跨帧几何 |
| Cross-dataset generalization | DVGT | 几何模型是否适配不同驾驶数据分布 |
| Streaming geometry quality / speed | DVGT-2 | causal + cache 后是否仍保留可靠几何 |
| Planning evaluation | DVGT-2 | dense geometry 是否能穿透到 trajectory output |
需要注意，DVGT 系列的价值不是“立刻替代 SparseDrive / DiffusionDrive 并刷新所有规划榜单”。它更像一个新的表示假设：如果端到端规划只依赖 sparse queries 或 action distribution，可能会缺少 metric geometry grounding；如果加入 dense geometry，模型也许能更好地处理道路表面、遮挡边界和非标准障碍物。但这条路线必须付出更高的计算代价，因此实验重点应同时看几何收益和系统开销。
三个关键数字：
- 2 个版本：DVGT 负责 dense geometry perception，DVGT-2 负责 streaming VGA planning。
- 3 类 attention / memory 机制：intra-view local attention、cross-view / cross-frame geometry attention、temporal causal attention + historical cache。
- 3 类输出接口：dense point map、ego poses、trajectory planning。
6. 工程实践
DVGT 系列如果进入真实系统，最重要的不是“有没有 point map”，而是 point map 如何成为可部署接口。
6.1 Geometry 到下游任务的接口
Dense point map 本身不是最终任务。它需要被转成下游能使用的形式：
| 下游接口 | 转换方式 | 风险 |
|---|---|---|
| Occupancy / free space | point map -> voxel / occupancy grid | 分辨率与稀疏区域处理 |
| BEV planning feature | point map -> BEV-aligned feature | 高度信息可能再次被压缩 |
| Cost map | geometry -> collision / drivable cost | 动态物体和语义不确定性 |
| Sparse query grounding | point map -> object / map query refinement | 需要稳定关联和采样策略 |
| Direct planning feature | geometry tokens -> planning head | 端到端可解释性和安全约束 |
6.2 Streaming 系统的工程风险
DVGT-2 把问题推进到在线系统后，工程风险会集中在时序状态管理：
- cache 生命周期：历史特征太短会丢时序线索，太长会引入陈旧信息和算力压力；
- causal 约束：训练阶段不能泄漏未来帧，否则离线指标好看、在线推理掉点；
- 相机掉线：多相机系统缺一路输入时，geometry attention 是否还能稳定；
- 动态物体区域：动态对象会破坏静态几何假设，需要和 motion / segmentation 交互；
- 尺度一致性：多数据集训练时 metric scale 必须稳定，否则规划代价会漂；
- 算力预算：dense geometry 比 sparse query 更重，必须证明收益覆盖延迟和显存成本。
6.3 与 SparseDrive / DiffusionDrive 的互补关系
DVGT 系列、SparseDrive 和 DiffusionDrive 都可以服务规划，但它们优化的是不同对象。
| 路线 | 核心表示 | 更强的地方 | 更弱的地方 |
|---|---|---|---|
| SparseDrive | sparse scene tokens | 高效、贴近任务实体 | 可能丢失细粒度表面和 free space |
| DiffusionDrive | action distribution | 多模态动作生成 | 对世界物理状态依赖上游表示 |
| DVGT / DVGT-2 | dense metric geometry | 真实尺度空间 grounding | 计算重，接口复杂 |
更合理的系统可能不是三选一，而是让 sparse query 负责任务实体，diffusion / scoring 负责动作候选，dense geometry 负责物理约束。
7. 研究启示
DVGT 系列的意义在于把视觉几何重新带回自动驾驶主线。过去几年，端到端驾驶很容易把中间表示压缩成 BEV feature、object query 或 action token；这些表示高效、任务友好，但可能把真实三维世界的物理结构压得太薄。DVGT 提醒这条路线：车不是在 token 空间里行驶，而是在有尺度、有表面、有遮挡的三维世界里行驶。
从研究定位看，DVGT 是从 VGGT / D4RT 这类视觉几何基础能力走向驾驶场景的关键一步；DVGT-2 则是把这条几何路线继续推到在线规划。它们与 VGGT 和 D4RT 构成一条清楚的几何链：
VGGT: 统一视觉几何前向模型 |
这条链和 SparseDrive / DiffusionDrive 不是替代关系，而是互补关系。前者回答“世界在三维空间里是什么结构”，后者回答“自车应该从哪些候选动作里选择”。真正强的驾驶系统，很可能需要同时保留任务实体、动作分布和 metric geometry 三类信息。
DVGT-2 代表 geometry-centric 路线进入规划层。它不必否定 object-centric planning，但它提出了一个很值得继续追问的问题：如果端到端规划缺少可靠的几何 grounding，它到底是在理解物理世界，还是只是在拟合数据集中常见轨迹？