基于信息论的校准技术，CML让多模态机器学习更可靠

多模态机器学习在各种场景下都取得了令人瞩目的进展。然而，多模态学习模型的可靠性尚缺乏深入研究。「信息是消除的不确定性」，多模态机器学习的初衷与这是一致的——增加的模态可以使得预测更为准确和可靠。然而，最近发表于 ICML2025 的论文《Calibrating Multimodal Learning》发现当前多模态学习方法违法了这一可靠性假设，并做出了详细分析和矫正。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文 Arxiv：https://arxiv.org/abs/2306.01265
• 代码 GitHub：https://github.com/QingyangZhang/CML

当前的多模态分类方法存在不可靠的置信度，即当部分模态被移除时，模型可能产生更高的置信度，违反了信息论中 「信息是消除的不确定性」这一基本原理。针对此问题，本文提出校准多模态学习（Calibrating Multimodal Learning）方法。该方法可以部署到不同的多模态学习范式中，提升多模态学习模型的合理性和可信性。

图片

该工作指出，当前多模态学习方法存在不可靠的预测置信度问题，现有多模态机器学习模型倾向于依赖部分模态来估计置信度。特别地，研究发现，当前模型估计的置信度在某些模态被损坏时反而会增加。为了解决这个不合理问题，作者提出了一个直观的多模态学习原则：当移除模态时，模型预测置信度不应增加。但是，当前的模型却倾向于相信部分模态，容易受到这个模态的影响，而不是公平地考虑所有模态。这进一步影响了模型的鲁棒性，即当某些模态被损坏时，模型很容易受到影响。

为了解决上述问题，目前一些方法采用了现有的不确定性校准方法，例如 Temperature Scaling 或贝叶斯学习方法。这些方法可以构建比传统训练 / 推理方式更准确的置信度估计。但是，这些方法只是使最终融合结果的信心估计与正确率匹配，并没有明确考虑模态信息量与信心之间的关系，因此，无法本质上提升多模态学习模型的可信性。

作者提出了一个新的正则化技术，称为 “Calibrating Multimodal Learning (CML)”。该技术通过添加一项惩罚项来强制模型预测信心与信息量的匹配关系，以实现预测置信度和信息量之间的一致性。该技术基于一种自然的直觉，即当移除一个模态时，预测置信度应该降低（至少不应该增加），这可以内在地提高置信度校准。具体来说，提出了一种简单的正则化项，通过对那些当移除一个模态时预测置信度会增加的样本添加惩罚，来强制模型学习直观的次序关系：

上面的约束为正则损失，当模态信息移除信心上升时作为惩罚出现。

实验结果表明，CML 正则化可以显著提高现有多模态学习方法的预测置信度的可靠性。此外，CML 还可以提高分类精度，并提高模型的鲁棒性。

多模态机器学习在各种情境中取得了显著的进展，但是多模态机器学习模型的可靠性仍然是一个需要解决的问题。本文通过广泛的实证研究发现，当前多模态分类方法存在预测置信度不可靠的问题，违反了信息论原则。针对这一问题，研究人员提出了 CML 正则化技术，该技术可以灵活地部署到现有的模型，并在置信度校准、分类精度和模型鲁棒性方面提高性能。相信这个新技术将在未来的多模态学习中发挥重要作用，提高机器学习的可靠性和实用性。

以上就是基于信息论的校准技术，CML让多模态机器学习更可靠的详细内容，更多请关注其它相关文章！

# 中国  # 怎么做开发网站推广平台  # 安徽网新网站建设  # seo权威  # vue单页面应用seo  # 全民推广网站  # seo优化就是网络营销推广吗  # 白坭网站推广渠道  # 宝坻网站建设哪里好  # 云南seo编辑培训班  # 山东网站建设报告模板  # 模型  # 上海  # 不可靠  # 丰田  # 中国科学院  # 这一  # 移除  # 提出了  # 模态  # 多模  # 机器学习 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 世界上第一个完全由人工智能驱动的图像编辑器！  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  美图第二届影像节发布七款AI影像创作工具  DragGAN开源三天Star量23k，这又来一个DragDiffusion  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  V社回应拒绝上架含 AI 生成内容的游戏：审核政策正在调整中  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  套娃不可取：研究人员证实用AI生成的结果训练AI将导致模型退化  一文读懂自动驾驶的激光雷达与视觉融合感知  华为AI大模型将融入HarmonyOS 4  人工智能领域，突破难题：国产大模型“无源之水”问题得到解决。  自动驾驶汽车避障、路径规划和控制技术详解  张朝阳与陆川谈AI：ChatGPT是鹦鹉学舌思维，不可能取代人类 | 把脉AI大模型  加州用AI监测野火：1032个摄像头联网扫描森林异常  马斯克回应“人工智能让一切变得更好”：我们已经是半机器人了  揭秘AI数字人语录：抖音AI小和尚、老者语录能赚钱吗？  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  导演郭帆：人工智能应用可能会影响《流浪地球 3》的创作开发  美的推出 AI 双视精准避障的自动集尘扫拖机器人 V12，售价仅为2999元  靠游戏更靠AI 英伟达成唯一首季度两位数增长的公司  吴恩达、Hinton最新对话！AI不是随机鹦鹉，共识胜过一切，LeCun双手赞成  小岛秀夫不反对使用AI 但认为人类应该凌驾于AI  GPT-4最全攻略来袭！OpenAI官方发布，六个月攒下来的使用经验都在里面了  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  美图秀秀发布七款 AI 工具：修图一样修视频、打造电影级上镜脸  人才智能平台转型中的人工智能的关键角色  售价14.99万起！小米汽车部分信息疑遭AI曝光，内部人士回应：网传图片明显经过处理，不可轻信  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  AI大模型火了！科技巨头纷纷加入，多地政策加码加速落地  绿联发布笑脸屏幕显示充电状态的30W/65W Q湃机器人充电器  微软在 Bing 和 Edge 浏览器中拓展网购服务，帮用户选购心仪产品  2025智源大会AI安全话题备受关注，《人机对齐》新书首发  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  陈根：ChatGPT和人类合作开发机器人  生成式AI与云结合，机遇与挑战并存  新闻传闻：迪士尼可能采用人工智能来控制电影制作成本  全国体育人工智能大会举办，专家聚焦体育人工智能领域人才培养  音乐制作元工具AudioCraft发布开源AI工具  深剖Apple Vision Pro中暗藏的“AI”  Unity 推出面向开发者的 AI 软件市场 AI Hub，股价飙涨 15%  RoboNeo安装教程  0代码微调大模型火了，只需5步，成本低至150块  7条线路感受智慧美好生活，“2025 世界人工智能大会民营企业社会开放日”主题活动启动  Stability AI 推出文生图模型 SDXL0.9，GPU要求下探至消费级水平  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  甲骨文与Cohere合作为企业提供生成式人工智能服务  研究表明 GPT-4 模型具备自我纠错能力，有望推动 AI 代码进一步商业化  《共同的演化》展览启幕，重新思考人类与人工智能关系  从谷歌到亚马逊，科技巨头们的AI痴迷  七大主流AI企业包括OpenAI、谷歌等联合承诺：引入水印技术，并允许第三方审核AI内容 

 2023-06-27