从 Sparse Queries 到 4D Geometry：自动驾驶世界模型的新表示栈

Topic: Driving Representation Stack / 4D Geometry / World Model
Keywords: DVGT, VGGT, D4RT, SparseDrive, DiffusionDrive, Occupancy, BEVFusion, OccWorld, 4D Geometry

引言：自动驾驶正在从识别物体走向理解三维世界

自动驾驶不只是识别前方有什么物体，还要判断空间是否可通行、物体如何运动、自车未来应该怎么开。围绕这个目标，近年的技术路线正在从“检测物体”扩展到“理解三维世界”：以 SparseDrive / Sparse4D 为代表的 Object-centric 系统，用少量 object / map / motion queries 表示驾驶场景；以 VGGT、D4RT 和 DVGT 系列为代表的 Geometry-centric 方法，把真实尺度 3D / 4D 几何放到表示中心；OccWorld / Drive-OccWorld 将未来世界演化建模在 occupancy 空间中；DiffusionDrive 则把规划看作多模态动作分布生成。

这些方法都服务同一个最终问题：车该怎么开？但它们解决的是不同层级的问题。Object query 是语义压缩，occupancy 是空间状态，dense geometry 是度量几何，world model 是状态转移，diffusion planner 是动作分布。把它们放到统一状态空间里看，自动驾驶的新表示栈就不再是一堆方法名，而是一组对”当前世界如何压缩、未来世界如何展开、自车动作如何选择”的不同回答。

这条表示栈与站内已有几条主线互相咬合：

《自动驾驶的觉醒：从感知像素到重构世界的五次跃迁》讲完整技术演进，本文专门展开其中的 world model / geometry 分支。
《BEV 与 Transformer 自动驾驶感知方法的统一视角》讲 BEV、query、occupancy 的统一坐标系，本文补充 4D geometry 的位置。
《端到端自动驾驶的范式跃迁与路线之争》讲 UniAD → VAD → SparseDrive → DiffusionDrive 的规划路线，本文补充其与几何世界模型的关系。
《自动驾驶感知论文知识图谱》已整理已有论文笔记之间的传承关系，本文是对新近 world model / geometry 方向的概念补边。

1. 从观测到动作：自动驾驶需要什么表示

从状态空间角度看，自动驾驶系统需要从历史观测中估计当前世界状态，再预测未来，并选择动作：

$$ o_{1:t} \rightarrow \hat{s}_t,\qquad p(s_{t+1:t+H}\mid \hat{s}_t, a_{t:t+H}),\qquad p(a_{t:t+H}\mid o_{1:t}) $$

其中 $o_{1:t}$ 是历史传感器观测，$s_t$ 是无法完全观测的真实世界状态，$a_{t:t+H}$ 是自车未来动作或轨迹。不同路线的差异，本质上是选择了不同的 $\hat{s}_t$ 和不同的未来建模方式。

路线	主要估计对象	理论角色	代表方法
BEV-centric	统一鸟瞰特征	将多视角、多传感器观测对齐到公共坐标系	LSS、BEVFormer、BEVFusion
Object-centric	稀疏语义对象和地图元素	将世界压缩成任务相关的离散实体集合	Sparse4D、UniAD、VAD、SparseDrive
Occupancy-centric	3D / 4D 空间占用状态	以空间格子表示 free / occupied / unknown / semantic state	OccFormer、OccWorld、Drive-OccWorld
Geometry-centric	depth、point map、pose、surface、3D / 4D tracks	估计更底层的 metric 3D structure	VGGT、D4RT、DVGT、DVGT-2
World-model-centric	未来视频、BEV、occupancy、latent state	建模未来状态转移	GAIA-1、DriveDreamer、OccWorld、DriveWorld
Action-centric	未来轨迹或动作分布	直接建模可行动作集合	GenAD、DiffusionDrive

这个表给出一个重要判断：DiffusionDrive 是生成式规划方法，但不是严格意义上的 World Model。它建模的是 $p(a\mid o)$ 或轨迹分布；严格的 World Model 更强调 $p(s_{t+1}\mid s_t,a_t)$，即动作条件下世界状态如何变化。二者可以结合，但对应的技术问题不同。

更紧凑地说：

Object tells what matters.
Geometry tells where things really are.
Occupancy tells which space is free, occupied, or unknown.
World model tells how the world may evolve.
Action model proposes what ego can do.

2. 表示压缩：BEV、Object Query 与 Occupancy

2.1 BEV：先把多传感器放进同一空间

BEV 路线的贡献是把多相机、多传感器信息对齐到鸟瞰坐标系，使检测、地图、预测和规划共享一个空间语境。BEVFusion 进一步说明，多模态特征在共享 BEV 空间中融合，可以同时保留 LiDAR 几何和相机语义，并支持不同 3D 感知任务。

但 BEV 仍然是一种任务特征表示，而不是完整几何模型。它通常压缩高度维、表面形状、点级对应和相机位姿等信息。因此，BEV 适合做统一任务接口，却不天然等价于“真实 3D 世界结构”。

2.2 Object Query：把世界压缩成可规划实体

SparseDrive 的核心判断是：端到端自动驾驶不一定需要昂贵的 dense BEV 特征，可以用全稀疏 scene representation 统一检测、跟踪、在线建图、运动预测和规划。论文也明确指出，SparseDrive 用 symmetric sparse perception module 学习 fully sparse representation，并用 parallel motion planner 建模预测和规划之间的相似性。

这种压缩有充分工程理由：object / map / motion queries 数量有限，计算量低，监督清楚，评测闭环成熟。它的问题不是“没有价值”，而是作为 $\hat{s}_t$ 的近似可能不够充分：对未知障碍、非标准物体、细碎施工设施、路面几何异常、遮挡边界等场景，稀疏语义对象可能不是足够统计量。

2.3 Occupancy：把空间显式写成占用状态

OccFormer 代表当前帧 3D semantic occupancy prediction：相比 BEV 平面，3D 语义占用进一步提供高度方向的结构信息。它回答的是“哪些空间被占用，以及语义是什么”。

OccWorld 则往前走一步：它在 3D occupancy 空间中学习 world model，用 GPT-like 时空生成 Transformer 预测 future occupancy 和 ego trajectory。Drive-OccWorld 进一步把视觉中心 4D occupancy forecasting 接到规划，通过 action condition 生成可控的未来 occupancy / flow，并用 occupancy-based cost 选择轨迹。

所以更严谨的区分是：

Occupancy:
当前或未来世界状态的一种离散空间表示。

Occupancy World Model:
在 occupancy token / BEV memory / 4D occupancy 上建模未来状态转移。

3. 几何增强：从通用 3D 到动态 4D

Geometry-centric 路线的核心不是“再做一个检测器”，而是让模型直接估计真实尺度的空间结构、相机运动和跨时间对应关系。VGGT 和 D4RT 提供通用视觉几何能力，DVGT 系列则把这种能力推进到自动驾驶多相机序列和规划任务中。

3.1 VGGT：通用视觉几何底座

VGGT 是一个 feed-forward 视觉几何模型，可以从一张、少量或大量视图中直接推理 camera parameters、point maps、depth maps 和 3D point tracks。它的重要性在于把过去分散在相机估计、深度估计、点云重建、点跟踪中的几何任务统一到一个前向模型里。

VGGT 本身不是自动驾驶系统，但它给自动驾驶带来一个启发：如果视觉模型能直接输出 point map、depth、pose 和 tracks，那么下游系统不一定只能使用 object boxes 或 BEV features，也可以保留更原始的几何结构。

3.2 D4RT：把几何从 3D 推到动态 4D

D4RT 的全称是 Dynamic 4D Reconstruction and Tracking。它不是自动驾驶专用模型，而是一个面向动态视频场景的 4D 重建与跟踪模型。论文和项目页描述的核心能力，是用统一 Transformer 从单段视频中联合推理 depth、spatio-temporal correspondence 和 full camera parameters。

D4RT 最有价值的设计，是把 dense per-frame decoding 改成了 query-based decoding。模型先用 encoder 得到全局场景表示，再用轻量 decoder 回答一个具体问题：

给定源时刻 t_src 的一个像素 (u, v)，
它在目标时刻 t_tgt、目标相机坐标 t_cam 下的 3D 位置在哪里？

这个接口可以支持 3D point tracking、point cloud reconstruction 和 camera pose estimation。对自动驾驶来说，它的启发不在于“直接拿来规划”，而在于提供了一种更适合动态世界的几何接口：系统不必把每一帧都解码成完整 dense map，而可以在特定像素、时间或视角上查询 4D 几何。

如果 VGGT 代表通用 3D 视觉几何的前向化，D4RT 则把问题推进到动态场景：不仅要知道“点在哪里”，还要知道“同一个点随时间怎么运动，以及相机自身如何运动”。这正是驾驶场景中遮挡、运动物体、路口交互和非刚体变化带来的核心难点。

3.3 DVGT 系列：从驾驶 dense geometry 到 VGA 在线规划

DVGT 系列是这条几何路线进入自动驾驶场景后的连续版本。DVGT 面向自动驾驶多视角序列，目标是从未标定位姿的多视角视觉输入中重建全局稠密 3D point map 和 ego poses。论文使用 DINO backbone，并通过 intra-view local attention、cross-view spatial attention 和 cross-frame temporal attention 推理跨图像几何关系，最后解码第一帧 ego 坐标系下的全局 point map 与每帧 ego pose。

抽象流程是：

unposed multi-view image sequence
        ↓
Driving Visual Geometry Transformer
        ↓
metric dense point map + ego poses

这比常规 BEV 感知更接近“测量模型”：它不是先把世界压缩为对象集合，而是先恢复度量几何结构，再让下游任务决定如何使用这些几何。

DVGT-2 则明确提出 Vision-Geometry-Action（VGA）范式。论文把它与 VLA 作对比：VLA 借助语言辅助规划，而 VGA 强调 dense 3D geometry 是自动驾驶决策的关键线索。DVGT-2 使用 streaming 结构、temporal causal attention 和 historical feature cache，把原本偏离线的几何重建推进到在线联合重建与规划。

可以概括为：

Vision
  ↓
metric dense Geometry
  ↓
Action / trajectory planning

把 DVGT-2 放进技术路线图时，需要保持清楚的边界：它并不意味着 dense geometry 一定替代 object-centric planning。更准确地说，它表明 dense geometry 可以作为规划中间表示进入端到端系统。是否优于 object-centric 表示，取决于具体任务、场景分布、推理开销和下游接口。

4. 闭环任务：SparseDrive、DiffusionDrive 与 Geometry 的分工

DVGT 系列、SparseDrive 和 DiffusionDrive 都可以输出规划相关结果，但它们优化的是不同对象。

方法	建模对象	核心资产	更准确的定位
SparseDrive	稀疏场景实体 + 轨迹选择	sparse scene representation	Object-centric E2E driving
DVGT / DVGT-2	真实尺度 3D 几何 + 规划	dense metric geometry	Geometry-centric / VGA driving
DiffusionDrive	多模态驾驶动作分布	truncated diffusion policy	Action-centric generative planning

以施工区域为例，object-centric 系统倾向于检测锥桶、围挡、施工车辆，再把对象交给预测和规划；geometry-centric 系统更关注那里是否存在凸起、遮挡、表面不连续或不可通行区域；action-centric planner 则要在减速、跟车、变道、绕行等候选动作中选择合理轨迹。

三者不是替代关系，而是不同信息的分工：

SparseDrive:
把交通语义压缩成可规划的 sparse queries。

DVGT:
提供更底层的 metric geometry information。

DiffusionDrive:
在给定场景上下文下生成多模态轨迹分布。

因此，较稳妥的系统观点不是“Geometry 取代 Object”，而是“Object query 需要可靠几何 grounding，Action distribution 需要物理约束”。

5. Geometry World Model 与 World Model 的边界

Geometry World Model 与 World Model 在产业讨论中经常并列出现，但它们分工不同，可以用状态空间公式区分。

5.1 World Model：未来会怎么演化

World Model 更关心动作条件下的未来状态分布：

$$ p(s_{t+1:t+H}\mid s_t, a_{t:t+H}) $$

它回答的是：

如果 ego 这样开，未来世界会怎么变？

典型路线包括：

类型	代表作	依据
视频生成 / 可控仿真	GAIA-1, DriveDreamer	使用 video / text / action 或 diffusion 生成未来驾驶视频和可控场景
Occupancy / 4D world model	OccWorld, Drive-OccWorld, UniWorld, DriveWorld	在 3D/4D occupancy、BEV memory 或 spatio-temporal latent state 上预测未来

生成式规划与 World Model 相邻，但不完全相同。GenAD 将自动驾驶转为 generative modeling 问题，同时建模 ego 和 surroundings 的未来；DiffusionDrive 更明确地落在 trajectory distribution / policy generation。因此本文把 DiffusionDrive 放在 Action-centric，而不是 World-model-centric。

5.2 Geometry World Model：当前世界的 3D 结构是什么

Geometry World Model 更关心当前或短时窗口内的度量几何状态：

$$ p(g_t \mid o_{1:t}),\qquad g_t = \{\text{depth}, \text{point map}, \text{pose}, \text{surface}, \text{3D/4D tracks}\} $$

它回答的是：

当前看到的世界，在真实三维空间中是什么结构？

所以它强调 metric scale、camera pose、dense depth、dense point map、3D / 4D tracks、free space、unknown obstacle 和 geometric consistency。

一条主流趋势可以更严谨地写成：

World Model 正在引入更强空间结构：
从 future video / latent state 走向 future occupancy / 4D state。

Geometry Model 正在接近闭环任务：
从离线重建走向在线几何估计 + planning。

6. Geometry 与 Occupancy 的关系

Occupancy 可以看作几何理解的一种离散化表达，但它和完整几何模型不在同一层级。

Occupancy:
一种空间状态表示。

Geometry World Model:
一种估计 3D 几何状态的建模目标。

Occupancy 主要回答：

(x, y, z) -> free / occupied / unknown / semantic class

Geometry World Model 还关心：

像素对应的真实 3D 点在哪里
多视角看到的是不是同一个表面点
相机在世界中如何运动
局部表面形状和深度是否连续
动态物体的几何是否随时间一致

因此二者关系更像：

metric geometry / surface structure
        ↓
can be rasterized or queried as occupancy

反过来不一定成立：

occupancy grid
        ≠
full metric geometry

因为 occupancy grid 会压缩掉精细表面、点级对应、局部形状、深度连续性和相机位姿等信息。

维度	Occupancy	Geometry World Model
表示	voxel grid / occupancy field / occupancy token	point map / depth / pose / surface / 3D tracks
核心问题	哪些空间被占用？	世界的真实 3D 结构是什么？
优势	对 free space、collision cost、planning constraint 友好	metric grounding 更强，保留更多原始几何结构
短板	分辨率受限，表面细节和对应关系弱	计算重，需要转成任务接口
典型使用	当前占用预测、未来占用预测、规划代价	几何重建、位姿估计、深度/point map、几何结构查询

因此更准确的说法是：Occupancy 是几何世界理解的一种离散化、任务化表达，不是完整几何模型本身。

7. 从几何能力到驾驶系统：现实约束

为了避免把概念写成空泛拼图，必须承认这条路线有几个硬约束。

约束	原因	对系统设计的影响
标定与时序同步	几何估计依赖相机、LiDAR、radar、ego pose 的一致坐标系	中间结果需要携带 source、timestamp 和 uncertainty
动态物体	多帧点云/point map 中的动态区域不满足静态重建假设	需要 object motion prior 或 3D tracks 区分 static / dynamic regions
推理开销	dense point map / 4D occupancy 代价高	需要缓存、稀疏化、局部检索，而不是全量 dense map 喂给 planner
评测闭环	几何指标好不等于规划更安全	需要同时评估 localization、unknown obstacle、collision、free-space violation 和 closed-loop planning
不确定性	错误几何比缺失几何更危险	需要把 uncertainty 显式传给 object query 和 planning cost

这些约束也解释了为什么“直接训练一个大型 driving world model”不是唯一方向。更实际的工程路径，是让几何模型提供可信输入，再由任务系统把这些输入转成检测、预测、占用、轨迹代价或闭环规划收益。

8. 技术结论

本文的核心判断如下：

Object-centric 系统是高效语义压缩，不是落后路线；问题在于压缩后可能丢失类别无关的几何线索。
Occupancy 是空间状态表示，可以成为 world model 的状态空间，但它不等同于完整 metric geometry。
Geometry World Model 关注当前或短时窗口内的 3D 结构估计；World Model 关注动作条件下的未来状态转移。
DiffusionDrive 更准确地属于 Action-centric generative planning，而不是严格意义上的 World Model。
DVGT 系列的意义在于把 dense geometry 从驾驶几何感知推进到在线规划，但这并不自动否定 SparseDrive 这类稀疏 query 系统。
D4RT 的价值在于把动态 4D 重建变成 query-based geometry interface，这为驾驶系统在特定时空位置查询几何结构提供了重要参考。

最后可以把几条路线放成一张图：

                       Driving Representation Stack

Observation
camera / LiDAR / radar / ego motion
      │
      ├──────────────► BEV-centric feature space
      │                 LSS / BEVFormer / BEVFusion
      │
      ├──────────────► Object-centric queries
      │                 Sparse4D / SparseDrive / UniAD / VAD
      │
      ├──────────────► Occupancy state
      │                 OccFormer / OccWorld / Drive-OccWorld
      │
      └──────────────► Geometry-centric 3D / 4D structure
                        VGGT / D4RT / DVGT / DVGT-2

World / Action Modeling
      ├── future state transition
      └── trajectory distribution

Planning
sparse planner / occupancy cost / diffusion trajectory distribution

这也给前面几篇文章补上一条横向线索：BEV 解决统一空间，SparseDrive 解决稀疏端到端，DiffusionDrive 解决多模态动作分布，而 Geometry World Model / 4D Geometry 解决的是这些表示背后的 metric 3D grounding 与动态时空结构。

参考论文

VGGT: Visual Geometry Grounded Transformer：从一张、少量或多视图中前向预测 camera parameters、point maps、depth maps 和 3D point tracks。
D4RT: Efficiently Reconstructing Dynamic Scenes One D4RT at a Time 与 D4RT project page：用统一 Transformer 与 query decoder 从视频中联合推理 depth、spatio-temporal correspondence 和 camera parameters，支持动态 4D 重建与跟踪。
DVGT / DVGT-2: Driving Visual Geometry Transformer Series：从 unposed multi-view driving images 的 metric-scaled dense point map 和 ego poses，推进到 streaming dense geometry reconstruction 与 trajectory planning 联合的在线 VGA 范式。
SparseDrive: End-to-End Autonomous Driving via Sparse Scene Representation：用 fully sparse scene representation 统一感知、预测和规划。
DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving：用截断扩散策略建模多模态驾驶动作分布。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation：在共享 BEV 空间中融合多模态特征，保留几何和语义信息。
OccFormer: Dual-path Transformer for Vision-based 3D Semantic Occupancy Prediction：将视觉 BEV 表示推进到 3D semantic occupancy prediction。
OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving：在 3D occupancy token 上建模未来场景演化和 ego trajectory。
Drive-OccWorld: Vision-Centric 4D Occupancy Forecasting and Planning via World Models：将 4D occupancy / flow forecasting 与 action condition 和 planning cost 结合。
GAIA-1: A Generative World Model for Autonomous Driving：用 video、text、action 条件生成可控驾驶视频。
DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving：用 diffusion 构建真实驾驶场景世界模型，生成可控驾驶视频和策略。
UniWorld: Autonomous Driving Pre-training via World Models 与 DriveWorld：将 4D occupancy 或 4D scene dynamics 用作自动驾驶预训练 / 表示学习目标。