利用知识图谱增强RAG模型的能力和减轻大模型虚假印象

---

在使用大型语言模型(llm)时，幻觉是一个常见问题。尽管llm可以生成流畅连贯的文本，但其生成的信息往往不准确或不一致。为了防止llm产生幻觉，可以利用外部的知识来源，比如数据库或知识图谱，来提供事实信息。这样一来，llm可以依赖这些可靠的数据源，从而生成更准确和可靠的文本内容。

向量数据库和知识图谱

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

向量数据库

向量数据库是一组表示实体或概念的高维向量。它们可以用于度量不同实体或概念之间的相似性或相关性，通过它们的向量表示进行计算。

一个向量数据库可以根据向量距离告诉你，“巴黎”和“法国”比“巴黎”和“德国”更相关。

查询向量数据库通常涉及搜索相似的向量或基于特定标准的向量检索。以下是一个查询向量数据库的简单示例。

假设有一个高维向量数据库，存储了客户配置文件。您想找到与给定参考客户相似的客户。

首先，为了将客户定义为一个向量表示，我们可以提取相关特征或属性并将其转换为向量形式。

可以使用适当的算法（如k近邻或余弦相似度）在向量数据库中进行相似度搜索，以识别最相似的邻居。

检索与确定的最近邻向量对应的客户配置文件，这些概要文件表示与参考客户相似的客户，根据定义的相似性度量。

向用户展示检索到的客户配置文件或相关信息，如姓名、人口统计数据或购买历史。

知识图谱

知识图谱是表示实体或概念及其关系(如事实、属性或类别)的节点和边的集合。基于它们的节点和边缘属性，可用于查询或推断关于不同实体或概念的事实信息。

例如，一个知识图可以根据边缘标签告诉你“巴黎”是“法国”的首都。

查询图数据库涉及遍历图结构并根据特定标准检索节点、关系或模式。

假设你有一个表示社交网络的图数据库，其中用户是节点，他们的关系表示为连接节点的边。如果为给定用户找到朋友的朋友(共同联系)，那么我们应该进行如下操作：

1、在图数据库中标识表示参考用户的节点。这可以通过查询特定的用户标识符或其他相关标准来实现。

2、使用图查询语言，例如Cypher(在Neo4j中使用)或Gremlin，从参考用户节点遍历图。指定要探索的模式或关系。

MATCH (:User {userId: ‘referenceUser’})-[:FRIEND]->()-[:FRIEND]->(fof:User) RETURN fof

这个查询从参考用户开始，沿着FRIEND关系找到另一个节点(FRIEND)，然后沿着另一个FRIEND关系找到朋友的朋友(fof)。

3、对图数据库执行查询，根据查询模式检索结果节点(朋友的朋友)，可以获得关于检索节点的特定属性或其他信息。

图数据库可以提供更高级的查询功能，包括过滤、聚合和复杂的模式匹配。具体的查询语言和语法可能会有所不同，但一般的过程涉及遍历图结构以检索符合所需标准的节点和关系。

知识图谱解决“幻觉”问题的优势

知识图谱比向量数据库提供更精确和具体的信息。向量数据库表示两个实体或概念之间的相似性或相关性，而知识图可以更好地理解它们之间的关系。例如知识图谱可以告诉你“埃菲尔铁塔”是“巴黎”的地标，而向量数据库只能表明这两个概念的相似程度，但是具体他们之间如何相关的却没有说明。

知识图支持比向量数据库更多样化、更复杂的查询。向量数据库主要可以回答基于向量距离、相似性或最近邻的查询，这些查询仅限于直接的相似性测量。而知识图可以处理基于逻辑运算符的查询，例如“具有属性Z的所有实体是什么?”或“W和V的共同范畴是什么?”这可以帮助LLM产生更多样化和有趣的文本。

知识图比向量数据库更能进行推理和推断。向量数据库只能提供存储在数据库中的直接信息。而知识图可以提供从实体或概念之间的关系派生的间接信息。例如，一个知识图谱可以根据“巴黎是法国的首都”和“法国位于欧洲”这两个事实推断出“埃菲尔铁塔位于欧洲”。这可以帮助LLM生成更具逻辑性和一致性的文本。

所以知识图谱是一个比向量数据库更好的解决方案。可以为LLM提供了更准确、相关、多样、有趣、合乎逻辑和一致的信息，使它们更可靠地生成准确和真实的文本。但这里的关键是文档文档之间需要有清晰的关系，否则知识图谱将无法捕捉到它。

但是，知识图谱的使用并没有向量数据库那么直接简单，不仅在内容的梳理(数据)，应用部署，查询生成等方面都没有向量数据库那么方便，这也影响了它在实际应用中的使用频率。所以下面我们使用一个简单的例子来介绍如何使用知识图谱构建RAG。

代码实现

我们需要使用3个主要工具/组件：

TTSMaker

TTSMaker是一个免费的文本转语音工具，提供语音生成服务，支持多种语言。

2275 查看详情

1、LlamaIndex是一个编排框架，它简化了私有数据与公共数据的集成，它提供了数据摄取、索引和查询的工具，使其成为生成式人工智能需求的通用解决方案。

2、嵌入模型将文本转换为文本所提供的一条信息的数字表示形式。这种表示捕获了所嵌入内容的语义含义，使其对于许多行业应用程序都很健壮。这里使用“thenlper/gte-large”模型。

3、需要大型语言模型来根据所提供的问题和上下文生成响应。这里使用Zephyr 7B beta模型

下面我们开始进行代码编写，首先安装包

%%capture pip install llama_index pyvis Ipython langchain pypdf

启用日志Logging Level设置为“INFO”，我们可以输出有助于监视应用程序操作流的消息

import logging import sys # logging.basicConfig(stream=sys.stdout, level=logging.INFO) logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

导入依赖项

from llama_index import (SimpleDirectoryReader,LLMPredictor,ServiceContext,KnowledgeGraphIndex) # from llama_index.graph_stores import SimpleGraphStore from llama_index.storage.storage_context import StorageContext from llama_index.llms import HuggingFaceInferenceAPI from langchain.embeddings import HuggingFaceInferenceAPIEmbeddings from llama_index.embeddings import LangchainEmbedding from pyvis.network import Network

我们使用Huggingface推理api端点载入LLM

HF_TOKEN = "api key DEEPHUB 123456" llm = HuggingFaceInferenceAPI(model_name="HuggingFaceH4/zephyr-7b-beta", token=HF_TOKEN )

首先载入嵌入模型：

embed_model = LangchainEmbedding(HuggingFaceInferenceAPIEmbeddings(api_key=HF_TOKEN,model_name="thenlper/gte-large") )

加载数据集

documents = SimpleDirectoryReader("/content/Documents").load_data() print(len(documents))  ####Output### 44

构建知识图谱索引

创建知识图谱通常涉及专业和复杂的任务。通过利用Llama Index (LLM)、KnowledgeGraphIndex和GraphStore，可以方便地任何数据源创建一个相对有效的知识图谱。

#setup the service context  service_context = ServiceContext.from_defaults(chunk_size=256,llm=llm,embed_model=embed_model )  #setup the storage context  graph_store = SimpleGraphStore() storage_context = StorageContext.from_defaults(graph_store=graph_store)  #Construct the Knowlege Graph Undex index = KnowledgeGraphIndex.from_documents( documents=documents,max_triplets_per_chunk=3,service_context=service_context,storage_context=storage_context,include_embeddings=True)

Max_triplets_per_chunk:它控制每个数据块处理的关系三元组的数量

Include_embeddings:切换在索引中包含嵌入以进行高级分析。

通过构建查询引擎对知识图谱进行查询

query = "What is ESOP?" query_engine = index.as_query_engine(include_text=True,response_mode ="tree_summarize",embedding_mode="hybrid",similarity_top_k=5,) # message_template =f"""<|system|>Please check if the following pieces of context has any mention of the keywords provided in the Question.If not then don't know the answer, just say that you don't know.Stop there.Please donot try to make up an answer.</s> <|user|> Question: {query} Helpful Answer: </s>""" # response = query_engine.query(message_template) # print(response.response.split("<|assistant|>")[-1].strip()) #####OUTPUT ##################### ESOP stands for Employee Stock Ownership Plan. It is a retirement plan that allows employees to receive company stock or stock options as part of their compensation. In simpler terms, it is a plan that allows employees to own a portion of the company they work for. This can be a motivating factor for employees as they h*e a direct stake in the company's success. ESOPs can also be a tax-efficient way for companies to provide retirement benefits to their employees.

可以看到，输出的结果已经很好了，可以说与向量数据库的结果非常一致。

最后还可以可视化我们生成的图谱，使用Pyvis库进行可视化展示

from pyvis.network import Network from IPython.display import display g = index.get_networkx_graph() net = Network(notebook=True,cdn_resources="in_line",directed=True) net.from_nx(g) net.show("graph.html") net.s*e_graph("Knowledge_graph.html") # import IPython IPython.display.HTML(filename="/content/Knowledge_graph.html")

通过上面的代码我们可以直接通过LLM生成知识图谱，这样简化了我们非常多的人工操作。如果需要更精准更完整的知识图谱，还需要人工手动检查，这里就不细说了。

数据存储，通过持久化数据，可以将结果保存到硬盘中，供以后使用。

storage_context.persist()

存储的结果如下：

总结

向量数据库和知识图谱的区别在于它们存储和表示数据的方法。向量数据库擅长基于相似性的操作，依靠数值向量来测量实体之间的距离。知识图谱通过节点和边缘捕获复杂的关系和依赖关系，促进语义分析和高级推理。

对于语言模型(LLM)幻觉，知识图被证明优于向量数据库。知识图谱提供了更准确、多样、有趣、有逻辑性和一致性的信息，减少了LLM产生幻觉的可能性。这种优势源于它们能够提供实体之间关系的精确细节，而不仅仅是表明相似性，从而支持更复杂的查询和逻辑推理。

在以前知识图谱的应用难点在于图谱的构建，但是现在LLM的出现简化了这个过程，使得我们可以轻松的构建出可用的知识图谱，这使得他在应用方面又向前迈出了一大步。对于RAG，知识图谱是一个非常好的应用方向。

以上就是利用知识图谱增强RAG模型的能力和减轻大模型虚假印象的详细内容，更多请关注其它相关文章！

# 上海  # 新推广渠道营销策划  # 黑龙江seo优化师  # 嘉兴短视频seo公司  # 语文十大关键词排名表  # 北海红酒网站推广  # 网站建设的重难点分析  # 养老网站建设游戏app  # 长阳企业智能营销推广  # seo01线  # 如何营销耳饰产品推广  # 我们可以  # 告诉你  # 遍历  # 大型语言模型  # 运算符  # 埃菲尔铁塔  # 法国  # 开源  # 巴黎  # 是一个  # fig  # follow  # llama  # langchain  # rag  # 向量数据库 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 自然语言生成在智能家居设备中的应用  美图秀秀“AI 扩图”功能上线，可根据图像生成更大画幅  AI智能室内效果图设计软件效果，确实惊到我了！  成都大运会闭幕式引入人形机器人展示表演  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  如何利用AI工具写好本科论文：科技助你一臂之力  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  人工智能驱动智能建筑会是未来趋势吗？  LinkedIn 推出生成式 AI 辅助撰写帖文功能，将向所有用户开放  扎克伯格吐槽苹果Vision Pro：社交落后Meta太多，无法建设元宇宙  高质量数据推动AI场景化应用快速发展及落地  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  ​日媒：AI高效解析纳斯卡地画  优化系统韧性：故障恢复与监控在RabbitMQ中的应用  B站内测 AI 搜索功能，输入“？”即可体验  小红书陷入麻烦！被指控未经许可使用用户图片进行AI训练  移远通信率先完成多场5G NTN技术外场验证，为卫星物联网应用落地提速  复盘MWC上海：AI大模型时代到来 通信网络将会怎样改变？  DreamAvatar数字人使用教程  OPPO三方联合发布AI可持续发展白皮书，坚持发展健康AI生态  以分布式网络串联闲置GPU，这家创企称可将AI模型训练成本降低90%  无人机协助盐城交通执法的协同训练  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜？  Win11 AI 助手 Windows Copilot 被吐槽：套皮的 Edge 浏览器  统信深度deepin成立 AI SIG 社区，共同提升 Linux 下 AI 体验  AI 大模型重塑软件开发，有哪些落地前景和痛点？| ArchSummit  全球首款AI裸眼3D平板 国产的售价破万  出门问问亮相2025世界人工智能大会，展示AI CoPilot解决方案  争鸣：OpenAI奥特曼、Hinton、杨立昆的AI观点到底有何不同？  热点 | 人工智能黄金时代开启  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  这款在《自然通讯》发表的机器人，为变形金刚来到现实创造可能性  “五年内人类程序员将消失”预言引争议，AI真的那么强大了吗？  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  创作音乐/音频的Meta开源AI工具AudioCraft，让用户通过文本提示实现  2025 年开发者必须知道的六个 AI 工具  Meta 为打造元宇宙不惜下血本：VR 开发者年薪高达百万美元  AI技术加速迭代：周鸿祎视角下的大模型战略  13 个提高生产力的 AI 工具  田渊栋团队新研究：微调  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  调查显示：实际上没有那么多人在用 ChatGPT  两型无人机完成交付！国家级机动观测业务正式启动  卫星通信牵引物联网竞争升维，模组厂商如何决胜百亿市场？  猿辅导推出Motiff，整合三大AI功能，助力UI设计生产力革新  苹果2万5的AR遭遇砍单95%：不及预期  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  第四范式“式说”大模型入选《2025年通用人工智能创新应用案例集》  AI在教育中的角色：AI如何改变我们的学习方式 

 2024-01-14