微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉

---

大型语言模型（llm）是在巨大的文本数据库上训练的，在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中，然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时，模型实际上停止学习。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

对模型进行对齐或进行指令调优，让模型学习如何充分利用这些知识，以及如何更自然地响应用户的问题。但是有时模型知识是不够的，尽管模型可以通过RAG访问外部内容，但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的，模型会遇到额外的实际知识并将其整合到参数中。

模型如何集成这些新的附加知识?

在机制层面上，我们并不真正知道这种相互作用是如何发生的。根据一些人的说法，接触这种新知识可能会导致模型产生幻觉。这是因为模型被训练成生成不以其预先存在的知识为基础的事实（或者可能与模型的先前知识冲突）。模型还有可能会遇到何种看起来的知识（例如，在预训练语料库中较少出现的实体）。

因此，最近发表的一项研究关注的是分析当模型通过微调得到新知识时会发生什么。作者详细研究了一个经过微调的模型会发生什么，以及它在获得新知识后的反应会发生什么。

他们尝试在微调后对示例进行知识级别的分类。一个新例子固有的知识可能与模型的知识不完全一致。例子可以是已知的，也可以是未知的。即使已知，它也可能是高度已知的，可能是已知的，或者是不太为人所知的知识。

然后作者采用了一个模型(PaLM 2-M)对其进行了微调。每个微调的例子都是由事实知识构成的(主体、关系、对象)。这是为了允许模型用特定的问题、特定的三元组(例如，“巴黎在哪里?”)和基本事实答案(例如，“法国”)查询这些知识。换句话说，它们为模型提供一些新知识，然后将这些三元组重构为问题(问答对)以测试其知识。他们将所有这些例子分成上述讨论的类别，然后评估答案。

经过了模型进行了微调后测试结果：未知事实的高比例会导致性能下降（这不会通过更长的微调时间来补偿）。

未知事实在较低的epoch数下几乎是中性的影响，但在更多的epoch数下会损害性能。所以未知的例子似乎是有害的，但它们的负面影响主要体现在训练的后期阶段。下图显示了数据集示例的已知和未知子集的训练精度作为微调持续时间的函数。可以看出，该模型在较晚阶段学习了未知样例。

Lastly, since Unknown examples are the ones that are likely to introduce new factual knowledge, their significantly slow fitting rate suggests  that LLMs struggle to acquire new factual knowledge through fine-tuning, instead they learn to expose their preexisting knowledge using the  Known examples.

作者尝试对这种准确度与已知和未知例子之间的关系是进行量化，以及它是否是线性的。结果表明，未知的例子会损害性能，而已知的例子会提高性能，这之间存在很强的线性关系，几乎同样强烈(这种线性回归中的相关系数非常接近)。

这种微调不仅对特定情况下的性能有影响，而且对模型知识有广泛的影响。作者使用分布外(OOD)的测试集表明，未知样本对OOD性能是有害的。根据作者的说法，这与幻觉的发生也有关系:

灵感PPT

AI灵感PPT - 免费一键PPT生成工具

308 查看详情

Overall, our insights transfer across relations. This essentially shows  that fine-tuning on Unknown examples such as “Where is [E1] located?”,  can encourage hallucinations on seemingly unrelated questions, such as  “Who founded [E2]?”.

另外一个有趣的结果是，最好的结果不是用众所周知的例子获得的，而是用可能已知的例子。换句话说，这些例子允许模型更好地利用其先验知识(过于众所周知的事实不会对模型产生有用的影响)。

相比之下，未知和不太清楚的事实会损害模型的表现，而这种下降源于幻觉的增加。

This work highlights the risk in using supervised fine-tuning to update  LLMs’ knowledge, as we present empirical evidence that acquiring new  knowledge through finetuning is correlated with hallucinations w.r.t  preexisting knowledge.

根据作者的说法，这种未知的知识可能会损害性能(这使得微调几乎毫无用处)。而用“我不知道”标记这种未知知识可以帮助减少这种伤害。

Acquiring new knowledge via supervised fine-tuning is correlated with  hallucinations w.r.t. pre-existing knowledge. LLMs struggle to integrate new knowledge through fine-tuning and mostly learn to use their  pre-existing knowledge.

综上所述，如果在微调过程中出现未知知识，则会对模型造成损害。这种性能下降与幻觉的增加有关。相比之下，可能已知的例子反而有有益的影响。这表明该模型难以整合新知识。也就是说在模型所学到的知识和它如何使用新知识之间存在冲突。这可能与对齐和指令调优有关(但是这篇论文没有研究这一点)。

所以如果想要使用具有特定领域知识的模型，论文建议最好使用RAG。并且带有“我不知道”标记的结果可以找到其他策略来克服这些微调的局限性。

这项研究是非常有意思，它表明微调的因素以及如何解决新旧知识之间的冲突仍然不清楚。这就是为什么我们要测试微调前和后结果的原因。

以上就是微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉的详细内容，更多请关注其它相关文章！

# 大型语言模型  # wordpress图片seo  # 湖南seo公司怎么操作  # 黑帽seo私服  # 湘潭网站建设公司推荐  # 焦作万站营销推广工具  # seo面试 知乎  # 大专就业平台网站建设  # 江苏网站seo优化推广  # 广州  # 量产  # 重构  # 不太  # 中东  # 我不  # 能与  # 新东西  # 新知识  # 能让  # 人工智能  # 东莞网站推广案例  # 净化网站推广 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： AI时代，企业需要什么样的员工？  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  海南科技职业大学第25届中国机器人及人工智能大赛海南赛区荣获一等奖等114项  微软向美国政府提供GPT的大模型，安全性如何保证？  消息称 ChatGPT 未来有望增加更多功能：上传文件分析信息，还能记住用户画像  【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播！  联通发布鸿湖图文AI大模型1.0，可实现以文生图  Unity 内测 Safe Voice 服务，利用 AI 自动识别玩家不当聊天内容  OpenAI首席执行官引用《道德经》 呼吁就AI安全问题合作  华为大模型登Nature正刊！审稿人：让人们重新审视预报模型的未来  如何用AI重塑你的工作流（一）  深企派遣无人机救援队赴京津冀开展防汛救灾任务  AI创作广告文案等同2.47年工作经验，且消费者无法区分｜AI营销前沿  对话无界AI创始人长铗：AI的创业机会在应用层丨创新者Innovator  研究预测HPC支持的人工智能增长迅速  普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景  NVIDIA垄断AI市场90%份额：AMD性能追上80% 软件太不能打  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  AI浪潮席卷，时空壶为何能成为AI翻译时代的破局者  AI和ML推动联网设备的增长  编程版GPT狂飙30星，AutoGPT危险了！  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  百度举办AIGC创作沙龙，现场传授AI绘画“咒语”技巧  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  兆讯传媒率先全面拥抱AI 数智广告内容焕发新生机  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  华为联合合作伙伴 共同发布昇腾AI大模型训推一体化解决方案  优地网络助力新媒体拥抱人工智能时代  OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试  华为推出两款商用 AI 大模型存储新品，支持 1200 万 IOPS 性能  大语言模型的视觉天赋：GPT也能通过上下文学习解决视觉任务  图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了  比尔盖茨：AI确实存在风险，但可控  百川智能发布Baichuan-13B AI模型，号称“130亿参数开源可商用”  AI工具助力公司实施每周4.5天工作制，带来巨大效益  看懂AI，找到增长新势能 | 笔记侠AI峰会等你来  人工智能：解决劳动力短缺的关键策略  湖北科技职业学院举行工业机器人及智能制造技术专精特新产业学院建设启动仪式  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  独家视角：首次展示有人与无人协同打击的7000米高空察打一体无人机  首届亚太网络法实务大会召开 九位大咖探讨元宇宙与人工智能发展  Gartner发布中国企业人工智能趋势浪潮3.0  英国前首相：AI可能被用来制造“生物恐怖武器”  人工智能驱动艺术，打开达利的超现实想象  AI技术加速迭代：周鸿祎视角下的大模型战略  百亿量化私募：量化投资进入“精耕细作”时代 AI带来行业新变革  Win11 AI 助手 Windows Copilot 被吐槽：套皮的 Edge 浏览器  世界人工智能大会中西部县域数字就业中心组团亮相  美图秀秀“AI 扩图”功能上线，可根据图像生成更大画幅  华为4G5G通信物联网收费标准公布，多年研发成果，十年花费近万亿 

 2024-05-30