中国科学院自动化研究所与美团无人车团队合作，推出全球最大规模的自动驾驶世界模型数据集 drivingdojo，现已入选 neurips 2024 数据集追踪项目。该数据集旨在克服现有数据集在视频多样性和行为复杂性方面的不足，全面提升世界模型在自动驾驶领域的应用潜力。
DrivingDojo 数据集包含约 18000 个平均时长 20 秒的高质量视频，涵盖各种长尾驾驶场景，例如意外事件（如水桶掉落、栅栏倒塌）、极端天气和光照条件、以及各种行人与车辆交互行为。数据集分为三个子集，分别侧重于驾驶行为、动态交互和世界知识。
DrivingDojo 的核心优势在于其对世界模型关键能力的关注：交互、知识和泛化。
交互:数据集包含丰富的车辆与行人、其他车辆间的动态交互场景，例如并线、会车、超车等，帮助模型学习并预测这些复杂交互行为。
知识:数据集包含各种场景元素，例如红绿灯、交通标志等，帮助模型学习并理解这些世界知识，从而做出更准确的决策。
泛化:数据集包含大量长尾场景，提升模型在面对未知和异常情况时的泛化能力，确保其在真实世界中的可靠性。
DrivingDojo 支持多种研究方向，包括：Git程序猿必备版本控制工具下载真实多样的驾驶场景生成:基于给定的初始帧和轨迹，模型可以预测未来的驾驶场景，并通过 COLMAP 重建方法进行定量评估。
生成能力的泛化:模型在 DrivingDojo 上训练后，可在 OpenDV 等其他数据集上进行测试，评估其跨数据集的泛化能力。
交互行为的预测:模型可以根据不同的驾驶行为（例如停车或继续行驶）预测其他车辆的反应，例如是否会超车或让行。
DrivingDojo 数据集、论文和代码均已公开：网站:https://www.php.cn/link/e262bb94d2283745c350627f4334a11d论文:https://www.php.cn/link/03e17dbf92c96771d35b3271f4a49899代码:https://www.php.cn/link/05e51be563129e4c14ac285dee4986e8 DrivingDojo 的发布为自动驾驶世界模型研究提供了宝贵资源，有望推动该领域取得突破性进展。 它强调了在真实世界场景中，对智能体交互、环境知识和模型泛化能力的综合考量。