​哪个模型擅长调用工具？这个7B模型跻身工具调用综合榜单第一

---

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.co

工具调用是 AI 智能体的关键功能之一，AI 智能体根据场景变化动态地选择和调用合适的工具，从而实现对复杂任务的自动化处理。例如，在智能办公场景中，模型可同时调用文档编辑工具、数据处理工具和通信工具，完成文档撰写、数据统计和信息沟通等多项任务。

业界已发布的工具调用模型，在特定评测基准上有接近甚至超越闭源 SOTA 模型（比如 GPT-4）的表现，但在其他评测基准上下降明显，难以泛化到新工具和新场景。为应对这一挑战，来自 OPPO 研究院和上海交通大学的研究团队提出函数掩码（Function Masking） 方法，构建了具备强大泛化能力的轻量化工具调用系列模型：Hammer，并开源了完整的技术栈，旨在帮助开发者构建个性化的终端智能应用。

在工具调用典型评测基准上，包括 Berkeley Function-Calling Leaderboard（BFCL）、API-Bank、Seal-Tools 等，Hammer 系列模型展现了出色的总体性能，特别是 Hammer-7B 模型，综合效果仅次于 GPT-4 等闭源大模型，在工具调用模型中综合排名第一，具备强大的新场景和新工具泛化能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 模型地址：https://huggingface.co/MadeAgents
• 论文地址：https://arxiv.org/abs/2410.04587
• 代码地址：https://github.com/MadeAgents/Hammer

工具调用任务说明

工具调用作为 AI 智能体执行复杂任务所必备的核心能力，要求模型不仅能够识别正确的函数，还要准确填写函数的输入参数；如果给定函数列表无法满足用户的意图，模型也应具备拒绝任务的能力。下图是工具调用模型输入输出的一个样例：

Hammer 训练方法

研究团队在 Hammer 的训练过程中引入了一项关键技术：函数掩码（Function Masking） 和一个增强数据集：不相关性检测增强数据集（Irrelevance-Augmented Dataset）。

• 函数掩码旨在减少模型对函数名称和参数名称的依赖，核心是通过哈希化函数名称和参数名称，使模型在执行工具调用任务时不得不依赖更完备且可靠的功能描述信息，而不是对名称的记忆或匹配。这种方式有助于减少因命名差异导致的误判问题，提升模型在多样化命名风格和应用场景中的稳定性和适应性。
• 不相关性检测增强数据集旨在帮助模型在给定用户意图而当前无适用函数的情况下，能够正确判断并给出「不相关」信号。该数据集包含了 7,500 个增强样本，设计时平衡了工具调用任务和不相关性检测任务的比例，以达到最佳的综合效果。（已开源至：https://huggingface.co/datasets/MadeAgents/xlam-irrelevance-7.5k）

Hammer 总体表现

Hammer 系列模型在工具调用典型评测基准上均展现了出色的性能，具体表现如下面的两张表格所示。可以看到，在 BFCL 榜单上，Hammer-7B 模型的总体准确率达到 83.92%，接近闭源 SOTA 模型 GPT-4 的 95.79%，优于其他工具调用模型。同时，在其他评测基准上，Hammer-7B 模型的平均 F1 达到 76.21%，接近闭源模型 GPT-4 的 78.79%，大幅领先其他工具调用模型。Hammer-7B 能够在参数规模较小的情况下，在不同评测基准上与闭源 SOTA 大模型竞争，充分展示了 Hammer 模型在各种工具调用任务中的准确性和稳定性。

函数掩码技术的通用性

研究团队还将函数掩码和数据增强技术应用于不同的基础模型，以验证其通用性。实验选择了 Qwen 系列和 Deepseek-Coder 系列模型作为基准，并在相同的训练和测试条件下进行比较。下表中的结果显示，经过函数掩码技术调优后的 Hammer 版本显著提升了基础模型的工具调用准确性，远高于未调优版本，证明了函数掩码和不相关性数据增强对不同模型架构均有显著的优化效果。同时，在使用相同的基座模型和基础数据的情况下，与 xLAM（同样基于 Deepseek 微调而来的工具调用模型）的对比，也体现了函数掩码及不相关性数据增强的作用。

Remover

几秒钟去除图中不需要的元素

304 查看详情

不相关性数据增强比例的权衡

在设计不相关性数据增强时，研究团队测试了不同比例的不相关性数据样本对模型表现的影响。下图实验结果表明，合理比例的不相关性增强数据（约占总数据的 10%）能够在提升工具调用准确性的同时，显著增强模型在不相关检测场景中的识别能力，降低错误调用的风险。实验结果还显示，进一步增加不相关性数据会略微降低功能调用的准确性，因此找到适当的平衡点至关重要。

总结

Hammer 模型通过函数掩码技术和不相关性检测数据增强，在多个评测基准中取得了良好的效果，表现出强大的泛化能力和稳定性，为轻量化工具调用模型在终端应用向前迈了一步。

Hammer 系列目前已更新至 2.0 版本，欢迎感兴趣的读者通过 huggingface 进行体验！

以上就是​哪个模型擅长调用工具？这个7B模型跻身工具调用综合榜单第一的详细内容，更多请关注其它相关文章！

# 一键  # 辽中区常规网站建设理念  # 巩义网站建设软件公司  # 百度关键词异地排名查询  # seo实战密码 下载  # 鹤壁网站关键词优化公司  # 发布印刷业务推广网站  # sexy seo r  # 揭阳seo知识分享  # 广阳seo优化  # 洗车店开业营销推广方案  # 数年  # 数倍  # 音画  # 来袭  # 产业  # 景中  # 情况下  # 开源  # 掩码  # 榜单  # type  # qwen  # deepseek  # 邮箱  # ai  # git  # hammer  # ai 智能体 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 争鸣：OpenAI奥特曼、Hinton、杨立昆的AI观点到底有何不同？  严打“黑飞”，无人机检测反制设备护航大运会净空安全  2025世界人工智能大会（上海）开幕式纪要  如何用AI开创智慧能源新时代？固德威正让能源“通人性”！  零AI含量！纯随机数学无限生成逼真3D世界火了，普林斯顿华人一作  长宁这家企业在世界人工智能大会上荣获“蓝鼎奖”  618京东3C数码趋势产品备受青睐 AR设备成交额同比增长15倍  东软成立魔形科技研究院，积极布局大语言模型系统工程战略，迎接AI时代  将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？  用AI升级会议体验！思必驰多款会议产品亮相全球智博会！  人工智能时代的科幻译者怎么办？“做好翻译工作的高端10%”｜文化观察  Vision Pro 太贵，苹果基于 iPhone 的 VR 头显专利曝光  人脸识别+全景双摄+AI算法 萤石推动智能锁行业革新  V社谈AI制作游戏被ban：为确保开发者有素材所有权  鸿蒙4即将支持大规模AI模型  自然语言生成在智能家居设备中的应用  实现MySQL数据锁定策略：解决并发冲突的J*a解决方案  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  世界人工智能大会中西部县域数字就业中心组团亮相  时间、空间可控的视频生成走进现实，阿里大模型新作VideoComposer火了  如何利用AI工具写好本科论文：科技助你一臂之力  阿里大文娱CTO郑勇：生成式AI将引发内容行业巨变，*制作机会挑战并存  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  学界业界大咖探讨：AI对数字艺术创新的推动力  「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT  浪潮KaiwuDB：“快人一步” - 打造更懂物联网的数据库  大疆 Air 3 无人机售价和实物照片曝光  微软推出 LLaVA-Med AI 模型，可对医学病理案例进行分析  有 ARM 和 X86 两个版本，香橙派游戏掌机细节曝光  1分钟做出苹果Vision Pro「官网」？上班8小时搞出480个网页，同事被卷疯了  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  从数据中心到发电站：人工智能对能源使用的影响  WAIC 2025｜云深处科技绝影Lite3与X20四足机器人亮相  大模型训练成本降低近一半！新加坡国立大学最新优化器已投入使用  企业软件行业更将被AI全面重构！Moka李国兴：未来优秀组织和个人将一定是善于使用AI生产力的  学生作文评分的新趋势：教师与AI的合作模式  首个算网生态体！中国移动元宇宙产业联盟正式成立  金山办公：AI是重要的产品战略之一  读创正式上线“读创AI聊”功能  刊·见 | 捕捉人工智能领域最新动态？收藏Applied Artificial Intelligence  业内领先 四川大学华西第四医院甲状腺乳腺外科成功进入手术机器人时代  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  开创全新虚拟现实体验的Pimax Crystal VR头显  基于信息论的校准技术，CML让多模态机器学习更可靠  微软Xbox称VR和AR还需要时间 先玩大的  杭州举办第19届亚运会，主题为「亚运元宇宙」的发布仪式举行  拓普龙7188ML：轻便壁挂式工控机箱，为人工智能应用场景提供有力保障  扎克伯格吐槽苹果Vision Pro：社交落后Meta太多，无法建设元宇宙  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元 

 2024-10-25