DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving

Task: 4D Autonomous Driving Scene Understanding Pre-training
Method: Memory State-Space Model, Dynamic Memory Bank, Static Scene Propagation, Task Prompt
Venue: CVPR 2024
Year: 2024
Paper: https://arxiv.org/abs/2405.04390
Code: N/A

1. 摘要

DriveWorld 提出基于 world model 的 4D autonomous driving representation learning。它的出发点很直接：自动驾驶不是静态图片理解，也不是单帧 3D 感知，而是一个持续演化的 4D 场景理解问题。如果预训练只让模型学 2D 外观或单帧 3D 几何，就会漏掉驾驶系统最需要的时间动态。

方法上，DriveWorld 使用 Memory State-Space Model。其中，Dynamic Memory Bank 学习 temporal-aware latent dynamics，Static Scene Propagation 学习 spatial-aware latent statics，Task Prompt 则引导同一预训练表示适配不同下游任务。

和 UniWorld 相比，DriveWorld 更强调 memory-based 4D latent dynamics：前者以 4D geometric occupancy 为预训练状态，后者则把世界演化建模放进动态/静态记忆结构里。

核心论点：自动驾驶预训练应当从“单帧视觉表征”升级为“4D 世界状态表征”，让模型在预训练阶段就学习场景随时间变化的规律。

2. 问题与动机

自动驾驶模型通常依赖大规模预训练，但常见预训练目标往往偏离驾驶任务本身：

预训练范式	学到的内容	对驾驶的缺口
2D image pre-training	外观、纹理、语义	缺少 3D 空间和时间动态
单帧 3D pre-training	空间结构	对未来演化建模不足
任务专用训练	针对某个 head 优化	多任务迁移能力有限

驾驶场景的核心不是“这一帧有什么”，而是“场景状态如何随时间变化”。例如，遮挡车辆是否会出现、前车是否减速、路口交通参与者如何交互，这些都需要时间建模。

DriveWorld 的目标是让预训练直接面对 4D driving scene understanding，把动态演化作为表征学习的一部分，而不是等到下游预测或规划阶段才补。

3. 核心洞察

洞察 1：自动驾驶预训练应显式建模时间

DriveWorld 把 driving video 中的时空演化作为预训练信号，而不是只做单帧视觉或单帧几何任务。这个洞察的关键是：时间不是额外输入，而是驾驶场景理解的核心维度。

如果模型在预训练时已经学习“状态如何随时间转移”，那么下游的 tracking、motion forecasting、occupancy prediction 和 planning 都能受益，因为这些任务本质上都依赖动态场景理解。

洞察 2：动态和静态信息需要分工

Dynamic Memory Bank 负责 temporal dynamics，Static Scene Propagation 负责 spatial statics。这个分工很重要，因为驾驶场景里有两类信息：

静态结构：道路、车道线、建筑、交通设施，变化慢但提供空间约束；
动态状态：车辆、行人、自车运动，变化快且直接影响预测和规划。

如果把两类信息混在同一个 latent 中，模型可能难以区分“稳定背景”和“真正变化的对象”。DriveWorld 的 memory 设计就是为了让静态上下文和动态演化各司其职。

洞察 3：Task Prompt 帮助统一预训练适配多任务

不同下游任务需要不同粒度的特征。3D detection 更关心对象位置，online mapping 更关心道路结构，motion forecasting 更关心动态交互，planning 更关心未来风险。

Task Prompt 的作用，是告诉同一个预训练表示“当前要为哪个任务服务”。这使 DriveWorld 不只是一个固定 backbone，而更像一个可被任务条件调度的 4D 表征模块。

4. 方法设计

4.1 整体架构

multi-camera driving videos
        │
        ▼
4D pre-training framework
        │
        ▼
Memory State-Space Model
        │
        ├── Dynamic Memory Bank
        ├── Static Scene Propagation
        └── Task Prompt
        │
        ▼
downstream driving tasks

更细地看，DriveWorld 的 Memory State-Space Model 把“动态”和“静态”拆成两条互相补充的记忆路径：

DriveWorld detailed architecture

Input sequence:
multi-frame driving observations
task prompt for downstream adaptation

    ┌────────────────────────────────────────────┐
    │  1. Visual / Scene Encoder                 │
    │  frames -> scene tokens                    │
    │  encode agents, road layout, context       │
    └────────────────────────────────────────────┘
                     │
       ┌─────────────┴─────────────┐
       ▼                           ▼

┌──────────────────────┐ ┌────────────────────────┐
│ Dynamic Memory Bank │ │ Static Scene Propagation│
│ temporal latent flow │ │ stable road/background │
│ motion and evolution │ │ spatial layout memory │
└──────────────────────┘ └────────────────────────┘
│ │
└─────────────┬─────────────┘
▼
┌────────────────────────────────────────────┐
│ 2. Memory State-Space Fusion │
│ combine dynamic state + static scene │
│ form 4D driving representation │
└────────────────────────────────────────────┘
│
▼
┌────────────────────────────────────────────┐
│ 3. Task Prompt Adapter │
│ task-conditioned decoding │
│ detection / motion / scene understanding │
└────────────────────────────────────────────┘

这张图里最重要的是分工：动态 memory 负责“什么在变”，静态传播负责“什么应保持稳定”，task prompt 再告诉同一套 4D 表示当前要服务哪个下游任务。这样 DriveWorld 才能避免每个任务单独训练一套割裂的时序模型。

4.2 关键组件

模块	作用
Dynamic Memory Bank	学习时间感知 latent dynamics
Static Scene Propagation	提供空间场景上下文
Task Prompt	解耦 task-aware features
4D pre-training	从多相机视频学习时空表示

4.3 动态/静态记忆的作用链

DriveWorld 可以被理解成一条状态空间建模链：

$$ o_{1:t} \rightarrow z_t^{\text{static}}, z_t^{\text{dynamic}} \rightarrow \hat{z}_{t+1:t+H} \rightarrow \text{task-aware outputs} $$

其中 static latent 保留空间背景和道路约束，dynamic latent 建模运动变化，task prompt 再把统一表示引导到具体任务。这样设计的好处是：预训练目标和下游任务之间不再完全断裂。

4.4 Task Prompt 的接口作用

DriveWorld 的 task prompt 不是装饰性的任务名，而是让同一个 4D 表示适配不同输出接口。没有这个条件信号，模型容易退化成“统一 backbone + 多个 head”的普通多任务结构。

Prompt 作用	对应任务	为什么需要
指定静态结构输出	map / scene layout	强调道路拓扑和背景稳定性
指定动态行为输出	motion prediction	强调 agent 状态和时间演化
指定空间理解输出	3D perception / occupancy	强调几何与语义对齐
指定下游适配方式	fine-tuning tasks	避免每个任务重新学习一套时序表示

换句话说，DriveWorld 的核心不是“记忆模块越多越好”，而是动态记忆、静态传播和 task prompt 三者共同把 4D scene understanding 变成可复用的预训练接口。

4.5 训练和下游适配的信息流

DriveWorld 的信息流可以拆成“先学世界状态，再按任务读取状态”：

pre-training:
  multi-frame driving observations
        -> dynamic memory + static propagation
        -> 4D scene representation

task adaptation:
  4D scene representation + task prompt
        -> task-conditioned features
        -> detection / mapping / prediction / planning

这样设计的重点，是避免每个下游任务重新学习一遍时序世界。dynamic memory 负责把历史变化带进表示，static propagation 负责保持道路结构稳定，task prompt 负责把同一表示读成不同任务需要的信息。

5. 实验与分析

论文报告在 OpenScene 预训练后，DriveWorld 在多个下游自动驾驶任务上提升，包括 3D detection、online mapping、tracking、motion forecasting、occupancy prediction 和 planning。

这些实验的价值在于覆盖了“静态结构”和“动态行为”两类任务：

任务	主要验证的能力
3D detection	空间定位和目标表征
Online mapping	静态道路结构理解
Tracking	跨帧目标一致性
Motion forecasting	动态未来建模
Occupancy prediction	未来空间状态
Planning	表征是否能服务决策

这组任务覆盖面很宽，所以读实验时不要只盯住某一个分数，而要看三类能力是否同时被验证：

能力	对应实验信号	若缺失会怎样
空间结构理解	detection、online mapping、occupancy	4D 表示只会记动态，缺少道路约束
时间动态理解	tracking、motion forecasting	memory 模块无法证明自己学到演化
决策相关性	planning	预训练表示停留在感知侧，未进入驾驶闭环

DriveWorld 的实验设计因此比普通 backbone 预训练更接近自动驾驶系统评估：它不只问“特征是否更强”，还问“这个特征是否同时服务静态结构、动态行为和规划接口”。

因此，DriveWorld 的实验证据不是单一任务涨点，而是试图证明 4D pre-training 可以成为多任务驾驶表征的公共底座。

三个关键数字：

7.5% mAP：3D object detection 提升。
5.0% AMOTA：multi-object tracking 提升。
0.34m：planning average L2 error 降低。

6. 工程实践

DriveWorld 的工程重点是多相机视频预训练、动态/静态 memory 的维护，以及不同 task prompt 的配置。由于论文没有在 arXiv 页面公开代码链接，复现时需要依赖论文细节和后续实现。

落地时有几个容易踩坑的地方：

数据规模与时序长度：4D pre-training 比单帧预训练更吃视频数据和时间窗口设计。
memory 更新策略：动态 memory 太短会丢历史，太长会引入陈旧信息和算力压力。
任务 prompt 设计：prompt 如果无法真正区分任务需求，就会退化成普通多任务学习。
训练/推理一致性：预训练时使用完整序列，部署时往往是 streaming 输入，需要关注 gap。

这也是 DriveWorld 和 DVGT-2 这类 streaming geometry 方法之间的共同工程主题：时序表征必须能在线使用。

7. 研究启示

DriveWorld 把 world model 预训练从 occupancy token 推向更一般的 4D scene understanding。它说明自动驾驶预训练的核心不只是“看懂一帧”，而是学会场景如何随时间演化。

放回 world-model 分支，DriveWorld 和几篇相邻论文的关系可以这样看：

UniWorld: 4D occupancy as pre-training target
        ↓
DriveWorld: memory-based 4D scene understanding
        ↓
DVGT-2: streaming geometry + online planning

DriveWorld 的启示是：自动驾驶基础模型不能只靠更大的 backbone 或更多图片，它需要面向驾驶本身的时空任务。真正有用的预训练，应当让模型学到“世界如何持续变化”，而不只是“当前帧里有什么”。