并非所有人都能理解tesla v12在北美大范围推送以及凭借其优良的表现开启获得越来越多用户认同的局面,端到端自动驾驶也成为自动驾驶行业里大家最为关注的技术方向。最近有机会和很多行业中的一流工程师、产品经理、投资者、媒体人进行了一些交流,发现大家对端到端自动驾驶很感兴趣,但甚至在一些对端到端自动驾驶的基本理解上还存在着这样那样的误区。作为有幸体验过国内一线品牌有图无图城市功能,同时又体验过fsd v11和v12两个版本的人,在这里我想结合自己专业背景和对tesla fsd常年的进展跟踪,谈谈几个现阶段大家谈及端到端自动驾驶的常见误区,并给出我自己对于这些问题的解读。
从传感器输入开始到规划然后控制信号输出的过程中所有的步骤都是端到端可导,这样整个系统可以作为一个大模型进行训练,通过梯度下降的训练,通过梯度反向传播可以在模型训练期间对模型从输入到输出之间的所有环节进行参数更新优化,从而能够针对用户直接感知到的驱动决策轨迹优化整个系统的驱动行为。而最近一些友商在宣传端到端的自动驾驶的过程中声称自己是端到端感知,或者端到端的决策,但这二者其实我认为都不能算作是端到端的自动驾驶,而只能被称作纯数据驱动的感知和纯数据驱动的决策规划。
某些人可能会根据特定模型做出决策,并结合传统方法来进行安全校验和轨迹优化的混合策略,也称为端到端规划。此外,有说法认为Tesla V12并不是纯粹精准的模型输出控制信号,应该也是结合了一些规则方法的混合策略。根据就是http://X.com上的著名Green前段时间发过一条twitter称在V12技术栈里还是能够发现规则的代码。对此我的理解是Green发现的代码很可能是V12高速技术栈保留的V11版本代码,因为我们知道目前V12其实只是用端到端替换了原本城市技术栈,高速仍会沿用V11的方案,因此在解开的代码中找到一些规则代码的只言片语并不代表V12是假“端到端”,而是找到的很可能是高速的代码。实际上我们从2025年的AI+Day上就可以看出,V11及之前的版本已经是混合方案,因此V12如果不是彻底的模型直出轨迹,那么方案上就和之前的版本差别不大,如果是这样V12的性能跳跃性提升又没有法合理的解释了。关于Tesla之前的方案可参考我在AI+Day解读EatElephant:Tesla AI Day 2025 -- 世字解读:塪称自动驾驶春晚,去中心化的研发团队,麎心勃勃的向AI技术公司转型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
从2025年AI Day上来看,V11已经是混合了NN Planner的规划方案
总的来说,无论是感知后处理代码,还是规则的候选轨迹打分,甚至是安全兜底策略,一旦引入了规则的代码,有了if else的分支,整个系统的稳定传递就会被截断,这也就损失了端到端系统通过训练获得全局优化的最大优势。
另一个常见的误区是端到端就是推翻了之前积累的技术进行彻底的新技术的革新,并且很多人觉得已然Tesla刚刚实现了端到端自动驾驶系统的用户推送,那么其他厂商根本不用再在原本感知、预测、规划的模块化技术栈上迭代,大家直接进入端到端的系统,反而可以借鉴后发优势快速追上甚至超越Tesla。确实以一个大模型来完成从传感器输入到规划控制信号的映射是最为彻底的端到端,也很早就有公司尝试过类似的方法,例如Nvidia的D*E-2和Wayve等公司就使用了类似的方法。这种彻底的端到端技术确实更接近黑盒,很难进行debug和迭代优化,同时由于传感器输入信号如图像、点云等是非常高维度的输入空间,输出控制信号如方向盘转角和油门制动踏板是相对低维的输出空间,导致实车测试完全无法使用。

彻底的端到端系统也会使用一些常见的如语义分割,深度估计等辅助任务帮助模型收敛和debug
因此我们实际看到的FSD V12保留了几乎所有之前的可视化内容,这表明FSD V12是在原本强大的感知基础上进行的端到端训练,从2025年10月开始的FSD迭代并没有被抛弃,反而是成为了V12坚实的技术基础。Andrej Karparthy之前也回答过类似问题,他虽然没有参与V12的研发,但他认为所有之前的技术积累并没有被抛弃,只是从台前迁移到了幕后。因此端到端是在原有技术基础上一步步去掉个部分的规则代码逐渐实现的端到端导航。

V12保留了FSD几乎所有的感知,只取消了椎桶等有限的可视化内容
UniAD成为2025年CVPR Best Paper无疑代表了学术界对端到端的自动驾驶系统寄予的厚望。从2025年Tesla介绍了其视觉BEV感知技术的创新后,国内学术界在自动驾驶BEV感知方面投入了非常大的热情,并诞生了一些列研究,推动了BEV方法的性能优化和落地部署,那么端到端是否也能走一条类似的路线,由学术界引领,产业界跟随从而推动端到端技术在产品上的快速迭代落地呢?我认为是比较难的。首先BEV感知还是一个相对模块化的技术,更多是算法层面,且入门级性能对数据量的需求没有那么高,高质量的学术开源数据集Nuscenes的推出为很多BEV研究提供了便利的前置条件,在Nuscenes上迭代的BEV感知方案虽然无法达到产品级性能要求,但是作为概念验证和模型选型,是具有很大借鉴价值的。然而学术界缺乏大规模的端到端可用数据。目前最大规模的Nuplan数据集包含了4个城市1200小时的实车采集数据,然而在2025年的一次财报会议上,Musk表示对于端到端的自动驾驶“训练了100万个视频case,勉强可以工作;200万个,稍好一些;300万个,就会感到Wow;到了1000万个,它的表现就变得难以置信了”。Tesla的Autopilot回传数据普遍认为是1min的片段,那么入门级别的100w视频case大概就是16000小时,比最大的学术数据集至少多一个数量级以上,这里还是要注意nuplan是连续采集数据,因此在数据的分布和多样性上有着致命的缺陷,绝大多数数据都是简单场景,这也就意味着使用nuplan这样的学术数据集甚至无法获得一个能够勉强上车的版本。

Nuplan数据集已经是非常巨大规模的学术数据集,然而作为端到端方案的探索可能还远远不够
于是我们看到包括UniAD在内的绝大多数端到端自动驾驶方案都无法实车运行,而只能退而求其次进行开环评测。而开环评测指标的可靠度非常低,因为开环评测无法识别出模型混淆因果的问题,所以模型即使只学到了利用历史路径外插也能获得非常好的开环指标,但这样的模型是完全不可用的,2025年百度曾经发表一篇叫做AD-MLP的Paper(https://arxiv.org/pdf/2305.10430)来讨论开环规划评测指标的不足,这篇Paper仅仅是用了历史信息,而没有引入任何感知,就获得了非常不错的开环评测指标,甚至接近一些目前的SOTA工作,然而显而易见,没有人能在闭上眼睛的情况下开好车!
Canva AI
Canva平台AI图片生成工具
1374
查看详情

AD MLP通过不依赖感知输入取得不错的开环指标来说明用开环指标作为参考实际意义不大
那么闭环方针验证是否能够解决开环模仿学习的问题呢?至少目前来讲学术界普遍依赖的CARLA闭环*系统来进行端到端的研发,但是基于游戏引擎的CARLA获得的模型也很难迁移到现实世界来。
最后端到端不仅仅是一个新的算法那么简单。模块化的自动驾驶系统不同模块的模型可以使用各自任务的数据分别迭代训练,然而端到端系统各个功能是同时进行训练的,这就要求训练数据具有极高的一致性,每条数据要对所有子任务标签都进行标注,一旦一种任务标注失败,那这条数据就很难在端到端训练任务中使用了,这对于自动标注Pipeline的成功率和性能提出了极高的要求。其次端到端系统因为需要所有模块都达到一个较高的性能水平才能在端到端的决策规划输出任务中达成较好的效果,因此普遍认为端到端系统数据门槛远高于各个单个模块的数据需求,而数据的门
槛不仅是对绝对数量的要求,还对于数据的分布和多样性要求极高,这就是得自己没有车辆的完全控制权,不得不适配多个拥有不同车型客户的供应商在开发端到端系统时候可能遇到较大的困难。在算力门槛上,Musk曾在今年三月初在http://X.com上表示目前FSD的最大限制因素是算力,而在最近马老板则表示他们的算力问题得到了很大的环节,几乎就在同一时间在2025年Q1财报会议上Tesla透露如今他们已经拥有35000块H100的计算资源,并透漏在2025年底这一数字将达到85000块。毫无疑问Tesla拥有非常强大的算力工程优化能力,这意味着要达到FSD V12目前的水平,大概率35000块H100和数十亿美金的基础设施资本开销是必要前提,如果在算力使用方面不如Tesla高效,那么可能这一门槛会被进一步拔高。

3月初马斯克表示FSD的迭代主要限制因素是算力

4月初马斯克表示今年Tesla在算力方面的总投入将超过100亿美元
另外在http://X.com有网友分享了一张Nvidia汽车行业的高管Norm Marks在今年某次会议的截图,从中可以看出截止到2025年底,Tesla所拥有的NV显卡数量在柱状图上是完全爆表的存在(左图最右侧绿的箭头,中间文字说明了这个排名第一的OEM所拥有的NV显卡数量 > 7000个DGX节点,这个OEM显然就是Tesla,每个节点按照8卡计算,23年底Tesla大概有A100显卡超过56000卡,比排名第二的OEM多出四倍以上,这里我理解不包括2025年新购入的35000卡新款H100),再结合美国对出口中国显卡的限制政策,想要赶超这一算力的难度变得更加困难。

Norm Marks在某次内部分享截图,来源X.com@ChrisZheng001
除了上述数据算力挑战外,端到端的系统会遇到什么样的新挑战,如何保证系统的可控性,如何尽早发现问题,通过数据驱动的方式解决问题,并且在无法利用规则代码的情况下快速迭代,目前对于绝大多数自动驾驶研发团队而言都是一个未知的挑战。
最后端到端对于现在的自动驾驶研发团队还是一个组织变革,因为从L4自动驾驶以来,绝大多数自动驾驶团队的组织架构是模块化的,不仅分为感知组,预测组,定位组,规划控制组,甚至感知组还分视觉感知,激光感知等等。而端到端的技术架构直接干掉了不同模块间的接口壁垒,使得研发端到端的团队需要整合全部人力资源来适应新的技术范式,这对不够灵活的团队组织文化是一个极大的挑战。
以上就是2025年,端到端自动驾驶在国内是否会有实质性的突破和进展?的详细内容,更多请关注其它相关文章!
# 万个
# 网站代理推广平台
# 肥城国际网站建设方案
# 邹城seo模式
# 营销号一般推广什么游戏
# 秒收录网seo公司
# 婚纱摄影推广营销
# seo行业怎么认知
# seo自学多久入门
# 丽水专业的网站建设排名
# 淄博建设网站定制
# 自动驾驶
# 很难
# 这一
# 自定义
# 都是
# 迭代
# 一言
# 在国内
# 会有
# 端到
# 端到端
相关栏目:
【
Google疑问12 】
【
Facebook疑问10 】
【
优化推广96088 】
【
技术知识133117 】
【
IDC资讯59369 】
【
网络运营7196 】
【
IT资讯61894 】
相关推荐:
看似低调,实则稳健:字节在AI路上会遇到什么?
走进首家“元宇宙”未来工厂,卡奥斯探知工业之旅出发!
国宝级文物“铜兽驮跪坐人顶尊铜像”完成模拟拼接,腾讯AI立功
世界人工智能大会(WAIC 2025)点燃魔都,博尔捷数字科技携前沿技术产品亮相
行业首发「超级智绘」AI故事集,TCL实业推进AI技术应用
猿力科技入选北京市通用人工智能产业创新伙伴计划
2025世界人工智能大会(上海)开幕式纪要
上影节直击 | AI技术降低了短片拍摄门槛?金爵奖评委不赞同
J*a与人工智能结合:构建智能云服务
加强高质量数据供应能力,促进通用人工智能大模型领域的创新
不到2S创作AI图像!Snap发布图像生成器SnapFusion
AI技术改变*,新骗局来袭,*成功率接近100%
华为云天筹AI求解器荣获世界人工智能大会最高奖
650亿参数,8块GPU就能全参数微调:邱锡鹏团队把大模型门槛打下来了
"探索Meta发布的Quest MR/VR视频录制与拍摄指南"
【趋势周报】全球人工智能产业发展趋势:OpenAI向美国专利局提交“GPT-5”商标申请
马斯克回应“人工智能让一切变得更好”:我们已经是半机器人了
Meta 开源 AI 语言模型 MusicGen,可将文本和旋律转化为完整乐曲
农业产业升级:AI驱动的“崃·见田”开启农田未来展望
让AI助手带您轻松愉快地享受写作之旅
Valve Index VR 头显销量下滑,上市四年的长青树渐失光彩
2025世界人工智能大会前沿科技共绘“未来”图景, 这家这家独角兽企业的通用大脑将在AI领域大放异彩
郭帆:AI发展日新月异,或是弯道超车好莱坞的最好机会
Meta 推出 Quest 超级分辨率技术,让 VR 画面更清晰
外科医生的智能助手,“机器人手术”得到补充商业医保覆盖
张勇对话多位诺奖得主 人工智能将无处不在
美的推出 AI 双视精准避障的自动集尘扫拖机器人 V12,售价仅为2999元
日入400万,第一批AI骗子已上岗
“世界上最像人的机器人”接入 Stable Diffusion ,现场完成作画
「电子果蝇」惊动马斯克!背后是13万神经元全脑图谱,可在电脑上运行
十个AI算法常用库J*a版
五款 AI 网站构建器,任何人都能快速构建网站
赋能选题探索:AI助手在经济学专业中的应用指南
元宇宙迈入2.0时代,它和生成式人工智能有何关联吗?
人工智能快速发展 打开就业新空间
美图秀秀发布7款AI产品:支持用户创作、商业创作
当孔子遇见AI|尼山的“数字”
跟着AI大热的“光模块”到底是什么?
微幼科技晨检机器人与人工晨检相比,有何优势
京东 AI 大模型官宣 7 月 13 日发布,还有重磅合作
IBM将模拟计算用于人工智能,重塑AI计算
海南省公安机关警用无人机培训班结业并举行警航比武演练
上新7款产品,美图继续“蹭”AI
生成式人工智能进入产业应用!但再“聪明”仍是工具,最终目的是服务于人
实践J*a开发,构建高性能的MongoDB数据迁移工具
水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼
乐天派桌面机器人加入小米米家生态系统,实现与其他智能设备的互联
利亚德加码AI战略,与光年无限图灵机器人全面开展AI研发业务合作
AI数字人业务频频获点赞,谦寻积极引领示范作用
布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC
2024-05-08
运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。