来聊聊近期火爆的几个大模型和自动驾驶概念

---

近期大模型各种应用依然火爆，10月初前后出现了一系列颇有噱头的文章，试图把大模型应用于自动驾驶。和很多朋友最近也聊了很多相关的话题，写这篇文章，一方面是发现其实包括我在内，在过去其实都混淆了一些很相关但其实不同的概念，另一方面从这些概念延伸出来有一些有意思的思考，值得和大家一起分享和探讨。

大（语言）模型

这无疑是目前最为火爆的一个方向，也是论文最为集中的热点。那大语言模型究竟能怎么帮助到自动驾驶？一方面是像GPT-4V一样，通过和图像的对齐，提供极其强大的语义理解能力，这里暂时按下不表；另一方面便是把LLM作为agent去直接实现驾驶行为。后者其实也是目前最为sexy的研究方向，和embodied AI这一系列工作有着千丝万缕的联系。

目前看到的绝大部分后一类工作都是将LLM：1) 直接使用 2) 通过supervised learning的方式微调 3) 通过reinforcement learning的方式微调 用于驾驶任务。本质上并没有逃脱出之前基于learning方法去驾驶的范式框架。那其实很直接的一个问题就是，为什么用LLM做这件事情可能会更好？直觉上来说用语言去开车是一个很低效而啰嗦的事情。后来有一天突然想明白了LLM其实通过语言实现了一个对agent的pretrain！之前RL很难具有泛化性很重要的一个原因是难以统一起来各种不同的任务，去用各种通用的数据去pretrain，只能是每种任务from scratch训练，但是LLM很好解决了这样的问题。但其实也有几个并没有很好解决的问题：1) 完成pretrain之后，一定要保留语言作为输出的接口吗？这其实在很多任务中带来了很多的不便，也一定程度上造成了冗余的计算量。2) LLM as agent的做法上仍然没有克服现有RL类model free方法的本质问题，所有model free有的问题这样的方法仍然存在。最近也看到一些model based + LLM as agent的尝试，这可能会是一个有意思的方向。

最后想吐槽的一句各篇paper的是：并不是接上LLM，让LLM输出一个reason就能让你的模型变得可解释。这个reason仍然是可能胡说八道的。。。原先不会有保障的东西，并不会因为输出一句话就变得有保障了。

大（视觉）模型

纯粹的大视觉模型其实目前仍然没有看到那神奇的“涌现”时刻。谈到大视觉模型，一般有两个可能的所指：一个是基于CLIP或者DINO或者SAM这样海量的web data预训练实现的超强视觉信息特征提取器，这大大提升了模型的语义理解能力；另一个是指以GAIA为代表的world model实现的对（image, action，etc...）的联合模型。

前者其实我认为只是沿着传统的思路继续linear scale up的结果，目前很难看到对自动驾驶量变的可能性。后者其实在今年Wayve和Tesla的不断宣传之下，不断走入了研究者的视野。大家在聊world model的时候，往往夹杂着这个模型是端到端（直接输出action）且和LLM是相关联的。其实这样的假设是片面的。对于world model的我的理解也是非常有限，这里推荐一下Lecun的访谈和 @俞扬 老师的这篇model based RL的survey，就不展开了：

俞扬：关于环境模型(world model)的学习
https://www.php.cn/link/a2cdd86a458242d42a17c2bf4feff069

纯视觉自动驾驶

这其实很容易理解，是指仅依赖于视觉传感器的自动驾驶系统。这其实也是自动驾驶最美好的一个终极愿望：像人一样靠一双眼睛来开车。这样的概念一般都会和上述两个大模型联系起来，因为图像复杂的语义需要很强的抽象能力来提取有用的信息。在Tesla最近不断的宣传攻势下，这个概念也和下面要提到的端到端重合起来。但其实纯视觉驾驶有很多种实现的路径，端到端自然是其中的一条，但也不是仅有的一条。实现纯视觉自动驾驶最为困难的问题就是视觉天生对于3D信息的不敏感，大模型也并未本质上改变这一点。具体体现在：1) 被动接收电磁波的方式使得视觉不像其他传感器可以测量3D空间中的几何信息；2) 透视使得远处的物体对于误差的敏感程度极高。这对于下游默认在一个等误差的3D空间中实现的planning和control来说非常不友好。但是，人靠视觉开车等同于人能准确估计3D距离和速度吗？我觉得这才是纯视觉自动驾驶除了语义理解之外，值得深入研究的representation的问题。

Voicepods

Voicepods是一个在线文本转语音平台，允许用户在30秒内将任何书面文本转换为音频文件。

142 查看详情

端到端自动驾驶

这个概念是指从传感器到最终输出的控制信号（其实我认为也可以广义地包括到更上游一层planning的路点信息）使用一个联合优化的模型。这既可以是像早在80年代的ALVINN一样输入传感器数据，直接通过一个神经网络输出控制信号的直接端到端方法，也可以有像今年CVPR best paper UniAD这样的分阶段端到端方法。但是这些方法的一个共同要点都是通过下游的监督信号能够直接传递给到上游，而不是每个模块只有自己自定的优化目标。整体来说这是正确的一个思路，毕竟深度学习就是靠着这样的联合优化发家的。但是对于自动驾驶或者通用机器人这种往往复杂程度极高，且和物理世界打交道的系统来说，工程实现和数据组织和利用效率上都存在很多需要克服的难题。

Feed-Forward端到端自动驾驶

这个概念好像很少有人提到，但其实我发现端到端本身的存在是有价值的，但是问题在于对于观测这种Feed-Forward的使用方式。包括我在内，其实之前也都会默认端到端驾驶一定是Feed-Forward形式的，因为目前99%基于深度学习的方法都假设了这样的结构，也就是说最终关心的输出量（比如控制信号）u = f(x)，x是传感器的各种观测。这里f可以是一个很复杂的函数。但其实，我们在某些问题里，我们希望能够使得最终的输出量满足或接近某些性质，这样Feed-Forward的形式便很难给出这样的保证。所以能还有一种方式我们可以写成u* = argmin g(u, x) s.t. h(u, x)

随着大模型的发展，这种直接式的Feed-Forward端到端自动驾驶的方案又迎来了一波复兴。大模型当然是非常强大的，但是我抛出一个问题希望大家来想想：如果大模型端到端是万能的，那是不是意味着大模型就应该可以端到端下围棋/五子棋呢？类似AlphaGo的范式就应该已经毫无意义了？相信大家也都知道这个答案是否定的。当然这种Feed-Forward的方式可以作为一个快速的近似求解器，在大部分场景下取得不错的结果。

以目前公开了自己使用了Neural Planner的各家方案来看，neural的部分只是为后续的优化方案提供了若干初始化的proposal去缓解后续优化高度非凸的问题。这本质上和AlphaGo里的fast rollout做的事情是一模一样的。但是AlphaGo不会把后续的MCTS搜索叫做一个“兜底”方案。。。

最后，希望这些能够帮助大家理清这些概念之间的区别与联系，大家在讨论问题的时候也能够明确在说的究竟是什么东西。。。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

原文链接：https://mp.weixin.qq.com/s/_OjgT1ebIJXM8_vlLm0v_A

以上就是来聊聊近期火爆的几个大模型和自动驾驶概念的详细内容，更多请关注其它相关文章！

# 丰田  # 岳阳网站建设规划书  # 可乐营销推广视频  # 天津SEO博客推荐  # seo查询alexa  # 江山建设工程信息网站  # 网站建设样式有哪些要求  # 宜昌短视频seo官方  # 宜宾手机网站优化服务  # 荆州自媒体推广网站  # 唐山产品seo推广  # 模型  # 很好  # 近期  # 中国科学院  # 都是  # 是指  # 很难  # 几个  # 是一个  # 端到  # 自动驾驶 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  尼康尼克尔 Z 180-600mm f/5.6-6.3 VR 镜头发布，12499 元  清华&中国气象局大模型登Nature：解决世界级难题，「鬼天气」预报时效首次达3小时  Snap宣布研发出新技术 可大幅提升AI生成图像速度  马斯克预测：特斯拉全自动驾驶将在今年实现 对AI深度变化感到担忧  Unity 内测 Safe Voice 服务，利用 AI 自动识别玩家不当聊天内容  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  奥比中光子公司和斯坦德机器人深度合作，共同推进新一代激光雷达的研发  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶  百度举办AIGC创作沙龙，现场传授AI绘画“咒语”技巧  成都大运会闭幕式引入人形机器人展示表演  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  2025年的网络分区：人工智能和自动化如何改变事物  普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景  Yann LeCun团队新研究成果：对自监督学习逆向工程，原来聚类是这样实现的  爱设计PPT发布第二代AI一键生成PPT产品：智能、个性化、自动化  美图开拍使用教程  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  2025世界人工智能大会成功召开  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  今年，全球客服中心支出将增长 16.2%，迎接对话式 AI 的浪潮，根据 Gartner 报告  0代码微调大模型火了，只需5步，成本低至150块  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”  探索人工智能在物联网领域的影响与改变  如何提高集群协作效率？中外团队合作研发基于均值偏移的机器人队形控制策略  苹果AIGC专利：可通过语音指令生成AR/VR虚拟场景  西班牙小鲜肉*视频在网上疯传，本人发文澄清：是AI换脸的假视频！  Meta 推出 Quest 超级分辨率技术，让 VR 画面更清晰  Bing 聊天机器人现支持在桌面端用语音提问  首个算网生态体！中国移动元宇宙产业联盟正式成立  九号公司主导制定短途交通和送物机器人领域首个国际标准，标志着零的突破发布  懒人必备的家居清洁好物，石头自清洁扫拖机器人G20  移远通信率先完成多场5G NTN技术外场验证，为卫星物联网应用落地提速  人工智能在商业中的风险和局限性  “一般智力”与工艺学批判是认识AI的重要入口 | 社会科学报  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  海南省公安机关警用无人机培训班结业并举行警航比武演练  优地网络助力新媒体拥抱人工智能时代  “上海市民营企业人工智能赋能创新中心”揭牌成立  推动企业数字化转型升级！“松江智造”摘世界人工智能大会重磅奖项  深企派遣无人机救援队赴京津冀开展防汛救灾任务  消息称 ChatGPT 未来有望增加更多功能：上传文件分析信息，还能记住用户画像  周星驰支持的人工智能与 Web3 初创公司 Moonbox 完成 100 万美元融资  中国联通发布图文AI大模型，可实现以文生图、视频剪辑  AI成政客博弈工具，美国大选真假难辨，律师们的生意来了  首届亚太网络法实务大会召开 九位大咖探讨元宇宙与人工智能发展 

 2023-11-09