基于信息论的校准技术，CML让多模态机器学习更可靠

多模态机器学习在各种场景下都取得了令人瞩目的进展。然而，多模态学习模型的可靠性尚缺乏深入研究。「信息是消除的不确定性」，多模态机器学习的初衷与这是一致的——增加的模态可以使得预测更为准确和可靠。然而，最近发表于 ICML2025 的论文《Calibrating Multimodal Learning》发现当前多模态学习方法违法了这一可靠性假设，并做出了详细分析和矫正。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文 Arxiv：https://arxiv.org/abs/2306.01265
• 代码 GitHub：https://github.com/QingyangZhang/CML

当前的多模态分类方法存在不可靠的置信度，即当部分模态被移除时，模型可能产生更高的置信度，违反了信息论中 「信息是消除的不确定性」这一基本原理。针对此问题，本文提出校准多模态学习（Calibrating Multimodal Learning）方法。该方法可以部署到不同的多模态学习范式中，提升多模态学习模型的合理性和可信性。

图片

该工作指出，当前多模态学习方法存在不可靠的预测置信度问题，现有多模态机器学习模型倾向于依赖部分模态来估计置信度。特别地，研究发现，当前模型估计的置信度在某些模态被损坏时反而会增加。为了解决这个不合理问题，作者提出了一个直观的多模态学习原则：当移除模态时，模型预测置信度不应增加。但是，当前的模型却倾向于相信部分模态，容易受到这个模态的影响，而不是公平地考虑所有模态。这进一步影响了模型的鲁棒性，即当某些模态被损坏时，模型很容易受到影响。

为了解决上述问题，目前一些方法采用了现有的不确定性校准方法，例如 Temperature Scaling 或贝叶斯学习方法。这些方法可以构建比传统训练 / 推理方式更准确的置信度估计。但是，这些方法只是使最终融合结果的信心估计与正确率匹配，并没有明确考虑模态信息量与信心之间的关系，因此，无法本质上提升多模态学习模型的可信性。

作者提出了一个新的正则化技术，称为 “Calibrating Multimodal Learning (CML)”。该技术通过添加一项惩罚项来强制模型预测信心与信息量的匹配关系，以实现预测置信度和信息量之间的一致性。该技术基于一种自然的直觉，即当移除一个模态时，预测置信度应该降低（至少不应该增加），这可以内在地提高置信度校准。具体来说，提出了一种简单的正则化项，通过对那些当移除一个模态时预测置信度会增加的样本添加惩罚，来强制模型学习直观的次序关系：

上面的约束为正则损失，当模态信息移除信心上升时作为惩罚出现。

实验结果表明，CML 正则化可以显著提高现有多模态学习方法的预测置信度的可靠性。此外，CML 还可以提高分类精度，并提高模型的鲁棒性。

多模态机器学习在各种情境中取得了显著的进展，但是多模态机器学习模型的可靠性仍然是一个需要解决的问题。本文通过广泛的实证研究发现，当前多模态分类方法存在预测置信度不可靠的问题，违反了信息论原则。针对这一问题，研究人员提出了 CML 正则化技术，该技术可以灵活地部署到现有的模型，并在置信度校准、分类精度和模型鲁棒性方面提高性能。相信这个新技术将在未来的多模态学习中发挥重要作用，提高机器学习的可靠性和实用性。

以上就是基于信息论的校准技术，CML让多模态机器学习更可靠的详细内容，更多请关注其它相关文章！

# 中国  # 怎么做开发网站推广平台  # 安徽网新网站建设  # seo权威  # vue单页面应用seo  # 全民推广网站  # seo优化就是网络营销推广吗  # 白坭网站推广渠道  # 宝坻网站建设哪里好  # 云南seo编辑培训班  # 山东网站建设报告模板  # 模型  # 上海  # 不可靠  # 丰田  # 中国科学院  # 这一  # 移除  # 提出了  # 模态  # 多模  # 机器学习 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： DeepMind用AI重写排序算法；将33B大模型塞进单个消费级GPU  生成式人工智能来了，如何保护未成年人？ | 社会科学报  周鸿祎：360智脑开放API接口 AI大模型将赋能百行千业  一家 380 亿美元的数据巨头，要掀起企业「AI 化」革命  首届全国体育人工智能大会在首都体育学院召开  可按用户语气自动回复消息，Zoom 推出基于生成式 AI 的新功能  一次购买全年省心，入手科沃斯这几台机器人，省下时间就是金钱  生成式AI爆发，亚马逊云科技持续专注创新，助力企业数字化转型  国内通用人形机器人将发布、产业加速突破  鸿蒙4即将支持大规模AI模型  人工智能赋能无人驾驶：商业化进程再提速  击败LLaMA？史上超强「猎鹰」排行存疑，符尧7行代码亲测，LeCun转赞  普林斯顿大学推出 Infinigen AI 模型，生成真实自然环境 3D 场景  国宝级文物“铜兽驮跪坐人顶尊铜像”完成模拟拼接，腾讯AI立功  搭载星火认知大模型 讯飞听见智慧屏开启AI办公新体验  Meta开源文本生成音乐大模型，我们用《七里香》歌词试了下  定义人工智能的十个关键术语  数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动，看“智慧大脑”让数字山东更美好  换流站无线物联网络为新型电力系统铺设“数字之路”  美图秀秀发布七款 AI 工具：修图一样修视频、打造电影级上镜脸  实现人工智能和物联网的协同运作  硅谷人工智能研究院创始人皮埃罗·斯加鲁菲：Transformer模型演讲  13条咒语挖掘GPT-4最大潜力，Github万星AI导师火了，网友：隔行再也不隔山了  AI证件照生成器：实际测试中AI软件展现了绝无仅有的强大效能  "探索Meta发布的Quest MR/VR视频录制与拍摄指南"  BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」  WAIC 2025｜云深处科技绝影Lite3与X20四足机器人亮相  重塑未来生活的五项技术趋势  工业机器人及非标自动化设备集成服务提供商  AI在教育中的角色：AI如何改变我们的学习方式  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元  马斯克称未来机器人数量将多于人类，特斯拉愿共享自动驾驶技术  华为发布大模型时代AI存储新品  这款在《自然通讯》发表的机器人，为变形金刚来到现实创造可能性  刊·见 | 捕捉人工智能领域最新动态？收藏Applied Artificial Intelligence  陈根：ChatGPT和人类合作开发机器人  上新7款产品，美图继续“蹭”AI  杀入生成式AI的亚马逊云科技，能否再次生成未来？  小米首次曝光 64 亿参数的 MiLM-6B AI 大模型，或将应用于小爱同学  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  金山办公：AI是重要的产品战略之一  谷歌内部正在测试代号为Genesis的AI新闻写作产品  联想举办2025创新开放日，展出260余项算力及AI产品技术  找对了风口想不火都难，乐天派机器人，安卓机器人的最终形态？  美图设计室2.0新增哪些功能  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  五项人工智能尚未能够实现的任务  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  人形机器人概念大热！这些产业链标的或受提振  管提需求，大模型解决问题：图表处理神器SheetCopilot上线 

 2023-06-27