AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%


按照大语言模型的持续进化和自我革新,性能、准确度、稳定性都有了大幅的提升,这已经被各个基准问题集验证过了。

但是,对于现有版本的 LLM 来说,它们的综合能力似乎并不能完全支撑得起 AI 智能体。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%


多模态、多任务、多领域推断已成为 AI 智能体在公共传媒空间内的必须要求,但是在具体的功能实践中所展现的真实效果却差异强烈。这似乎再次提醒各个 AI 智能体初创公司以及大型科技巨头认清现实:脚踏实地一点,先别把摊子铺得太大,从 AI 增强功能开始做起。

近日,一篇关于AI智能体在宣传和真实表现上的差距的博客中,强调了一个观点:“AI智能体在宣传上是个巨人,而现实却很不妙。”这句话准确地表达了很多人对AI技术的看法。随着科技的不断进步,AI被赋予了许多令人瞩目的特点和能力,然而实际应用中却经常出现一些问题和

自主 AI 智能体能够够执行复杂任务的背景已经引起极大的兴奋。通过与外部工具和功能的交互,LLMs 可以在没有人为干预的情况下完成多步骤的工作流程。

但现实证明,这比预期的要更具挑战性。

WebArena排行榜是一个真实可复现的网络环境,用于评估实用智能体的性能。对LLM智能体在现实任务中的表现进行了基准测试,结果显示即使是表现最好的模型,成功率也只有35.8%。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

WebArena 排行榜对 LLM 智能体在现实任务中的表现进行的基准测试结果:SteP 模型在成功率指标上表现最为良好,达到了 35.8%,而知名的 GPT-4 的成功率仅达到了 14.9%。

什么是 AI 智能体?

「AI 智能体」这个术语并没有真正被定义,对智能体究竟是什么也存在很多的争议。

AI 智能体可以定义为「一个被赋予行动能力的 LLM(通常在 RAG 环境中进行函数调用),以便在环境中对如何执行任务做出高层次的决策。」

当前,构建 AI 智能体主要有以下两种架构方法:

  1. 单一智能体:一个大型模型处理整个任务,并基于其全面的上下文理解做出所有决策和行动。这种方法利用了大型模型的涌现能力,避免了将任务分解所带来的信息丢失。
  2. 多智能体系统:将任务分解为子任务,每个子任务由一个更小、更专业的智能体处理。与尝试使用一个难以控制和测试的大型通用智能体相比,人们可以使用许多更小的智能体来为特定子任务选择正确的策略。由于上下文窗口长度的限制或不同技能组合的需要等实际约束,这种方法有时是必要的。

理论上,具有无限上下文长度和完美注意力的单一智能体是理想的。由于上下文较短,在特定问题上,多智能体系统总是比单一系统效果差。

实践中的挑战

在见证了许多 AI 智能体的尝试之后,作者认为它们目前仍为时过早、成本过高、速度过慢且不够可靠。许多 AI 智能体初创公司似乎在等待一个模型突破,以开启智能体产品化的竞赛。

AI 智能体在实际运用中的表现并不够成熟,这体现在输出不精确、性能差强人意、成本较高、赔偿风险、无法获得用户信任等问题:

  • 可靠性:众所周知,LLMs 容易产生幻觉和不一致性。将多个 AI 步骤连接起来会加剧这些问题,尤其是对于需要精确输出的任务。
  • 性能和成本:GPT-4、Gemini-1.5 和 Claude Opus 在使用工具 / 函数调用方面表现不错,但它们仍然较慢且成本高,特别是如果需要进行循环和自动重试时。
  • 法律问题:公司可能需要对其智能体的错误负责。最近的一个例子是,加拿大航空被命令向一位被航空公司聊天机器人误导的客户赔偿。
  • 用户信任:AI 智能体的「黑箱」性质以及类似示例使得用户难以理解和信任其输出。在涉及支付或个人信息的敏感任务中(如支付账单、购物等),赢得用户信任将会很困难。

现实世界中的尝试

目前,以下几家初创公司正在涉足 AI 智能体领域,但大多数仍处于实验阶段或仅限邀请使用:

  • adept.ai - 融资 3.5 亿美元,但访问权限仍然非常有限。
  • MultiOn - 融资情况未知,他们的 API 优先方法看起来很有前景。
  • HypeWrite - 融资 280 万美元,起初是一个 AI 写作助手,后来扩展到智能体领域。
  • minion.ai - 最初引起了一些关注,但现在已经沉寂,仅有等候名单。

它们中似乎只有 MultiOn 在追求「给出指令并观察其执行」的方法,这与 AI 智能体的承诺更为一致。

灵感PPT 灵感PPT

AI灵感PPT - 免费一键PPT生成工具

灵感PPT 308 查看详情 灵感PPT

其他所有公司都在走记录和重放的 RPA(record-and-replay)路线,这在现阶段可能是为保证可靠性所必需的。

同时,一些大公司也在将 AI 功能带到桌面和浏览器,并且看起来将会在系统层面上获得本地的 AI 集成。

OpenAI 宣布了他们的 Mac 桌面应用程序,可以与操作系统屏幕互动。

在 Google I/O 大会上,Google 演示了 Gemini 自动处理购物退货。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

微软宣布了 Copilot Studio,它将允许开发人员构建 AI 智能体机器人。

AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%

这些技术演示令人印象深刻,人们可以拭目以待这些智能体功能在公开发布并在真实场景中测试时的表现,而不是仅限于精心挑选的演示案例。

AI 智能体将走向哪条路?

作者强调:「AI 智能体被过度炒作了,大多数还没有准备好用于关键任务。」

然而,随着基础模型和架构迅速进步,他表示人们仍可以期待看到更多成功的实际应用。

AI 智能体最有前途的前进道路可能是这样的:

  • 近期的重点应放在利用 AI 增强现有工具,而不是提供广泛的全自主独立服务。
  • 人机协同的方法,让人类参与监督和处理边缘案例。
  • 根据当前的能力和局限,设定不脱离现实的期望。

通过结合严格约束的 LLMs、良好的评估数据、人机协同监督和传统工程方法,就可以在自动化等复杂任务方面实现可靠且良好的结果。

对于 AI 智能体是否会自动化乏味重复的工作,例如网络抓取、填表和数据录入?

作者:「是的,绝对会。」

那 AI 智能体是否会在没有人们干预的情况下自动预订假期?

作者:「至少在近期内不太可能。」


以上就是AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%的详细内容,更多请关注其它相关文章!


# 智能体  # ai  # 更小  # 优化网站领悟云速 捷  # 个人网站建设企业名录  # 广告推广营销节点  # 优化公司网站只需易速达  # 苏州网站建设空间  # 水果推广营销  # 写论文  # 而不是  # 实际应用  # 小红  # 画出  # 达到了  # 会在  # 他们的  # 是一个  # opus  # udio  # copilot  # claude  # gemini  # SEO基础T恤改造吊带  # 翔安区网站推广中心招聘  # 营口网站怎么建设步骤  # 关于内容运营的seo 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】


相关推荐: OpenAI宣布组建新团队 以控制“超级智能”人工智能  脑机接口产业联盟发布十大脑机接口关键技术  AI遇上大运丨热身拉伸、娱乐K歌……AI智能健身镜将亮相成都大运会  云深处与昇腾CANN携手合作:开设ROS四足机器狗开发训练营  美图公司吴欣鸿:AI技术重构影像产业  给小朋友最好的科技礼物:乐天派桌面机器人  BLIP-2、InstructBLIP稳居前三!十二大模型,十六份榜单,全面测评「多模态大语言模型」  苹果AI战略与微软谷歌大相径庭,到底是领先还是落后?  人工智能助力精准学习,猿辅导小猿学练机满足学生个性化学习需求  禁止艺术家使用 AI 创作《龙与地下城》游戏插图的决定已在 D&D Beyond 生效  12页线性代数笔记登GitHub热榜,还获得了Gilbert Strang大神亲笔题词  微软必应聊天现已在Chrome和Safari浏览器上可用,但仍有许多限制存在  Meta 发布 Voicebox AI 模型:可生成音频信息,用于 NPC 对话等  苹果式 AI 哲学:不着一字,处处落子  国家发改委组织工业机器人产业高质量发展现场会  美图设计室2.0使用教程  苹果在韩举办首届中小企业智能制造论坛,加速推动工业4.0发展  云深处科技绝影 Lite3 与 X20 四足机器人亮相  优化系统韧性:故障恢复与监控在RabbitMQ中的应用  华为HarmonyOS 4将集|成人|工智能大型模型  如何用户外电源给无人机实现持久续航  探索人工智能在居家养老方面的应用  马克龙密会AI专家,法国加入全球人工智能竞赛  2025“春晖杯”人工智能专场对接活动举办  GPT-4是如何工作的?哈佛教授亲自讲授  乐天派桌面机器人加入小米米家生态系统,实现与其他智能设备的互联  兆讯传媒率先全面拥抱AI 数智广告内容焕发新生机  选对AI智能写作软件,让创作游刃有余!  世界人工智能大会中西部县域数字就业中心组团亮相  联想戴炜:以全栈AI加速CT与IT融合,共建高质量算力网络  2025 WAIC|美团无人机发布第四代新机型  百度文心一言App上架苹果商店,人工智能创作引发热议  微软大牛加入ZOOM,AI人才大战打响  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  刊·见 | 捕捉人工智能领域最新动态?收藏Applied Artificial Intelligence  普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景  学界业界大咖探讨:AI对数字艺术创新的推动力  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  湖北科技职业学院举行工业机器人及智能制造技术专精特新产业学院建设启动仪式  本届人工智能大会上的这个“镇馆之宝”,来自长宁企业西井科技!  人工智能驱动智能建筑会是未来趋势吗?  电力人工智能数据集目录首次发布  城市在采用人工智能方面进展如何?  推动企业数字化转型升级!“松江智造”摘世界人工智能大会重磅奖项  AI 作画工具 Midjourney 推出“pan”功能,可平移扩展图片外场景  2025 世界人工智能大会闭幕,32 个重大产业签约总额达 288 亿元  Stability AI 推出文生图模型 SDXL0.9,GPU要求下探至消费级水平  自然语言生成在智能家居设备中的应用  探展WAIC |万向区块链杜宇:不存在单一技术的iPhone时刻,Web3.0核心将基于AI+区块链+物联网  两架海燕号无人机交付中国气象局 助力建设国家级机动气象观测业务 

 2024-05-28

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.