基于信息论的校准技术，CML让多模态机器学习更可靠

多模态机器学习在各种场景下都取得了令人瞩目的进展。然而，多模态学习模型的可靠性尚缺乏深入研究。「信息是消除的不确定性」，多模态机器学习的初衷与这是一致的——增加的模态可以使得预测更为准确和可靠。然而，最近发表于 ICML2025 的论文《Calibrating Multimodal Learning》发现当前多模态学习方法违法了这一可靠性假设，并做出了详细分析和矫正。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文 Arxiv：https://arxiv.org/abs/2306.01265
• 代码 GitHub：https://github.com/QingyangZhang/CML

当前的多模态分类方法存在不可靠的置信度，即当部分模态被移除时，模型可能产生更高的置信度，违反了信息论中 「信息是消除的不确定性」这一基本原理。针对此问题，本文提出校准多模态学习（Calibrating Multimodal Learning）方法。该方法可以部署到不同的多模态学习范式中，提升多模态学习模型的合理性和可信性。

图片

该工作指出，当前多模态学习方法存在不可靠的预测置信度问题，现有多模态机器学习模型倾向于依赖部分模态来估计置信度。特别地，研究发现，当前模型估计的置信度在某些模态被损坏时反而会增加。为了解决这个不合理问题，作者提出了一个直观的多模态学习原则：当移除模态时，模型预测置信度不应增加。但是，当前的模型却倾向于相信部分模态，容易受到这个模态的影响，而不是公平地考虑所有模态。这进一步影响了模型的鲁棒性，即当某些模态被损坏时，模型很容易受到影响。

为了解决上述问题，目前一些方法采用了现有的不确定性校准方法，例如 Temperature Scaling 或贝叶斯学习方法。这些方法可以构建比传统训练 / 推理方式更准确的置信度估计。但是，这些方法只是使最终融合结果的信心估计与正确率匹配，并没有明确考虑模态信息量与信心之间的关系，因此，无法本质上提升多模态学习模型的可信性。

作者提出了一个新的正则化技术，称为 “Calibrating Multimodal Learning (CML)”。该技术通过添加一项惩罚项来强制模型预测信心与信息量的匹配关系，以实现预测置信度和信息量之间的一致性。该技术基于一种自然的直觉，即当移除一个模态时，预测置信度应该降低（至少不应该增加），这可以内在地提高置信度校准。具体来说，提出了一种简单的正则化项，通过对那些当移除一个模态时预测置信度会增加的样本添加惩罚，来强制模型学习直观的次序关系：

上面的约束为正则损失，当模态信息移除信心上升时作为惩罚出现。

实验结果表明，CML 正则化可以显著提高现有多模态学习方法的预测置信度的可靠性。此外，CML 还可以提高分类精度，并提高模型的鲁棒性。

多模态机器学习在各种情境中取得了显著的进展，但是多模态机器学习模型的可靠性仍然是一个需要解决的问题。本文通过广泛的实证研究发现，当前多模态分类方法存在预测置信度不可靠的问题，违反了信息论原则。针对这一问题，研究人员提出了 CML 正则化技术，该技术可以灵活地部署到现有的模型，并在置信度校准、分类精度和模型鲁棒性方面提高性能。相信这个新技术将在未来的多模态学习中发挥重要作用，提高机器学习的可靠性和实用性。

以上就是基于信息论的校准技术，CML让多模态机器学习更可靠的详细内容，更多请关注其它相关文章！

# 中国  # 怎么做开发网站推广平台  # 安徽网新网站建设  # seo权威  # vue单页面应用seo  # 全民推广网站  # seo优化就是网络营销推广吗  # 白坭网站推广渠道  # 宝坻网站建设哪里好  # 云南seo编辑培训班  # 山东网站建设报告模板  # 模型  # 上海  # 不可靠  # 丰田  # 中国科学院  # 这一  # 移除  # 提出了  # 模态  # 多模  # 机器学习 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 浪潮KaiwuDB：“快人一步” - 打造更懂物联网的数据库  谷歌将使用公开信息训练 AI 模型，构建更强大的自家产品  马斯克反讽人工智能AI炒作：“机器学习”本质就是统计  如何利用物联网技术提高企业生产线智能化水平，提升生产效率  超级智能到底是什么？  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  PS AI修图免费平替来了！Stability AI又放大招，核弹级更新一键扩图  华为昇腾AI原生支持30多种基础大模型，包括GPT  Meta 开源 AI 语言模型 MusicGen，可将文本和旋律转化为完整乐曲  英伟达CEO宣称生成式AI已迎来“划时代时刻”  警惕！AI或致虚假信息泛滥  了解 AGI：智能的未来？  网易云音乐内测上线“私人DJ” 打造AI推荐音乐助手  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  腾讯汤道生：大模型只是起点，产业落地是AI更大的应用场景  联想浏览器引入小乐 AI 助手，成功接入百度文心一言大模型，经过实测证实  2025世界人工智能大会（上海）开幕式纪要  研究预测HPC支持的人工智能增长迅速  人工智能如何用于家庭安全  AI在教育中的角色：AI如何改变我们的学习方式  优傲机器人的人机协作技术 助力中小企发展  工业机器人及非标自动化设备集成服务提供商  「电子果蝇」惊动马斯克！背后是13万神经元全脑图谱，可在电脑上运行  苹果式 AI 哲学：不着一字，处处落子  微软 Copilot 团队主管呼吁用户与 AI 交流时应使用恰当的礼貌用语  V社谈AI制作游戏被ban：为确保开发者有素材所有权  中国最强AI研究院的大模型为何迟到了  “木头姐”：特斯拉的人工智能训练——“赢家通吃”的机会  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”  令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  【澎湃原动力】人工智能产业协同创新中心：全产业链资源在这里汇聚  遵义市首次引入手术机器人，成功实施全膝关节置换术  科技数码圈的新物种 乐天派桌面机器人 AI +安卓+机器人 首发价1799元  日入400万，第一批AI骗子已上岗  Meta 人工智能业务落后竞争对手，研究人员大量离职成重要原因  沐曦首款AI推理GPU亮相：INT8算力达160TOPS！  IBM CEO克里希纳：人工智能潜在创新无法被监管  日本演员工会提出AI立法建议 要求建立“声音肖像权”  不到2S创作AI图像！Snap发布图像生成器SnapFusion  码刻 | 48小时Hackathon，源码见证新生代AI创新的发生  数字彩排、虚拟建厂！这家顶级洗衣机工厂敲开“工业元宇宙”之门  如布科技发布新产品AI口袋学习机S12  微软宣布为 Azure AI 添加男性声线，增强文本转语音功能  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  微幼科技晨检机器人：幼儿园健康保障的新伙伴  标贝科技亮相国际顶会ICASSP2025 加速布局海外AI数据市场  360发布数字安全和人工智能的强大结合：360安全大模型  人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的  干货满满，2025昆山元宇宙国际装备展等你来打卡！  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖 

 2023-06-27