ICRA 2025｜清华x光轮：自驾世界模型生成和理解事故场景

---

aixiv专栏持续报道全球顶尖ai研究成果，已收录2000余篇来自高校和企业实验室的学术技术文章，助力学术交流与传播。欢迎投稿或联系报道，邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

自动驾驶技术飞速发展，但复杂交通环境下的事故理解和预防仍是巨大挑战。例如，特斯拉FSD在中国市场的表现引发热议，其频繁违规行为凸显了现有方法的局限性。 事故数据稀缺也限制了自动驾驶系统应对突发事件的能力。

为此，光轮智能（Lightwheel）联合清华、香港科技大学等高校研究团队，研发了*D2（Accident Video Diffusion for Accident Video Description）框架，提升自动驾驶事故场景的安全性能。

*D2是一个创新的事故视频生成与描述框架，通过生成与自然语言描述高度一致的事故视频，增强对事故场景的建模能力。 团队同时贡献了EMM-AU（Enhanced Multi-Modal Accident Video Understanding）数据集，推动事故分析和预防研究。

• 项目主页：https://www.php.cn/link/42c88875bb90aeed57f01609fef5d9d7
• 论文：https://www.php.cn/link/23a5e8ae2bcc6237b3247af61d18b8e2
• EMM-AU数据集：https://www.php.cn/link/8217a05f48b7299703840cf2beb6b4bb
• 代码：https://www.php.cn/link/e633725b1ff30de3c9fd8212087f931b

*D2框架架构

*D2框架由视频生成和事故分析两部分组成。视频生成部分利用Open-Sora 1.2模型，通过两阶段微调，基于MM-AU数据集预训练，再用2000个真实事故视频进行精调，生成高保真事故视频。 为了提升视频质量，采用RRDBNet模型进行超分辨率处理。

事故分析部分结合视频理解和自然语言处理技术，完成两个任务：

1. 车辆行为描述和原因分析（及规避方法）： 生成描述车辆行为的句子和原因解释，并提出规避事故的建议。
2. 多任务学习与文本生成： 使用Vision-Language Transformer进行多任务学习，联合训练行为描述和原因解释（预防措施）任务，提高整体性能。 SCST机制优化文本生成质量。

MedPeer科研绘图

生物医学领域的专业绘图解决方案，告别复杂绘图，专注科研创新

166 查看详情

实验结果与可视化

*D2在多个评测指标上优于ADAPT框架。下图展示了*D2在不同数据集上的性能对比：

下图展示了*D2对事故场景的可视化分析结果：

未来，研究团队将继续优化*D2框架，并将其应用于光轮智能的自动驾驶系统中，推动自动驾驶技术的安全落地。

参考文献:

• Atakishiyev et al., 2025
• Jin et al., 2025
• Fang et al., 2025

以上就是ICRA 2025｜清华x光轮：自驾世界模型生成和理解事故场景的详细内容，更多请关注其它相关文章！

# 首次  # 沛县数据网站建设优势  # 西安seo关键词工具  # 岳麓区网站建设教程  # 六安网站建设公司概况  # 网站seo联盟广告  # 黄山seo网站工具  # 休闲网站推广费用高吗女  # 真人营销推广怎么做  # 商丘抖音关键词排名投放  # 弹幕游戏推广视频素材网站  # 播客  # 首个  # 多项  # 腾讯  # 还能  # 工程  # 自然语言  # 奥迪  # 清华  # 光轮  # Descript  # WHEE  # Sora  # B12  # 2025  # 邮箱  # ai  # git  # avd2  # 自动驾驶技术 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 网易数帆以AI融合创新引领数据分析与软件开发新趋势  三星加速AR眼镜进程，预计明年上半年亮相  《共同的演化》展览启幕，重新思考人类与人工智能关系  宇宙探索下一阶段，机器代替人类，AI会在太空探索中取代人类吗？  70年前他本想逃避考试，却影响了整个互联网  全国青少年无人机大赛重庆市选拔赛开赛 1252名中小学生参加  你们的开机第一屏画面要变了！安卓机器人首次3D化  谷歌推出 AI 反洗钱工具，可将金融机构内部风险预警准确率提高2至4倍  AI框架生态峰会本周开幕 华为昇腾“朋友圈”再聚首 全球首个全模态大模型将登场  高通发布长期产品计划，为工业和企业物联网产品提供全新组合方案  【趋势周报】全球元宇宙产业发展趋势：ChatGPT的出现，将元宇宙实现至少提前了10年  AI成政客博弈工具，美国大选真假难辨，律师们的生意来了  陈根：ChatGPT和人类合作开发机器人  以分布式网络串联闲置GPU，这家创企称可将AI模型训练成本降低90%  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  新华社联合北大发布AI大模型评测：安全可靠成重点，360智脑表现优异  挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判  微软大牛加入ZOOM，AI人才大战打响  羊驼家族大模型集体进化！32k上下文追平GPT-4，田渊栋团队出品  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  猿辅导推出Motiff，整合三大AI功能，助力UI设计生产力革新  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  OpenAI宣布组建新团队 以控制“超级智能”人工智能  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  英伟达首席执行官黄仁勋：生成式 AI 时代「人类」会是新的编程语言  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  AI大模型产品集体奔赴高考考场，教育赛道的讯飞星火能赢吗？  AI新风口？首个高质量「文生视频」模型Zeroscope引发开源大战：最低8G显存可跑  给小朋友最好的科技礼物：乐天派桌面机器人  统信深度deepin成立 AI SIG 社区，共同提升 Linux 下 AI 体验  特斯拉人形机器人将亮相 预计售价不超过15万元  2025年的网络分区：人工智能和自动化如何改变事物  13 个提高生产力的 AI 工具  人工智能在项目管理中的作用  2025WRC世界机器人大赛锦标赛（烟台）收官！斯坦星球勇夺VEX赛项冠亚军！  昌吉市利用无人机实现全天候河道动态巡检  国家发改委组织工业机器人产业高质量发展现场会  英特尔张宇：边缘计算在整个AI生态系统中扮演重要角色  跟着AI大热的“光模块”到底是什么？  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  马斯克回应人工智能拯救世界：人类已处于“半机器人”状态  iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了  灯塔AI大模型票房预测上线：开源算法不断提升精准度  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  下一个前沿：量子机器学习和人工智能的未来  华为联合合作伙伴 共同发布昇腾AI大模型训推一体化解决方案  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  GPT-4最全攻略来袭！OpenAI官方发布，六个月攒下来的使用经验都在里面了  人工智能赋能无人驾驶：商业化进程再提速  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破 

 2025-03-03