大模型与知识图谱结合之三元组预测及GEAR多跳问答思路

产业进展方面，Google发布了2024年AI领域进展(https://blog.google/technology/ai/google-ai-news-recap-2024/)，也可以从时间线上回顾下，这个公司这12个月发生的一些事儿。1月：产品和工具更新，Circle to Search功能发布，三星Galaxy S24系列集成谷歌AI，Chrome、Pixel和Search等产品更新。

程序猿李巡天

1208人浏览 · 2024-12-30 21:26:37

程序猿李巡天 · 2024-12-30 21:26:37 发布

今天我们来看看知识图谱方面的进展，看看大模型用于知识图谱补全的一个能力测试，以及GraphRAG的一个新思路。

然后看看Google的2024 AI年终总结。

一、Google的2024 AI年终总结

产业进展方面，Google发布了2024年AI领域进展(https://blog.google/technology/ai/google-ai-news-recap-2024/)，也可以从时间线上回顾下，这个公司这12个月发生的一些事儿。

1月：产品和工具更新，Circle to Search功能发布，三星Galaxy S24系列集成谷歌AI，Chrome、Pixel和Search等产品更新。
2月：Gemini 1.5推出，Bard转型为Gemini，Gemini Advanced发布，实验室新工具推出，技术助力开发者和研究者。
3月：谷歌健康检查活动展示AI在健康领域的进展，AI用于旅行工具，全球洪水预测，21个非营利组织加入AI加速器。
4月：生成式AI工具助力多群体，AI技能培养获支持，谷歌照片编辑工具更新，云服务与基础设施投资。
5月：谷歌I/O大会展示AI产品与功能，AlphaFold 3模型发布，Search集成生成式AI，照片搜索新方式。
6月：谷歌翻译新增语言，Gemma 2开放，NotebookLM全球扩展，教育领域新AI工具，海洋活动地图绘制。
7月：三星设备更新，Gemini升级，奥运会合作，安全AI联盟成立，生成式AI支持学习。
8月：谷歌硬件发布，Gemini赋能手机、智能家居，Chrome新功能，Android与Gemini合作。
9月：NotebookLM音频概览上线，新卫星星座用于野火检测，Gmail中使用Gemini技巧，Android新功能。
10月：Pixel、NotebookLM、Search和Shopping更新，Search广告体验优化，营销新方式。
11月：开发者使用Gemini API，棋类爱好者利用AI，节日购物更新，机器学习课程深入讲解生成式AI。
12月：Gemini 2.0推出开启智能代理时代，量子芯片Willow亮相，Android XR应用Gemini，实验模型推出，Pixel设备更新。

二、大模型用于三元组预测的一个能力测试

回顾下知识图谱补全（KGC）这个任务的常用方法，通常包括基于翻译的方法（如TransE、TransH、RotatE）、基于张量分解的方法（如DistMult、HolE、SimplE）、基于深度学习的方法（如ConvE、convKB、CapsE）以及图神经网络（GNN）方案，这些在大模型的背景下，提及的次数变少了。

所以，目前有一个新的方向，那就是让大模型来升级KGC的任务，做三元组级别的任务，即传统的KGC任务通常需要已知一个或两个元素来推断未知元素，而TSP任务则要求基于已知三元组的信息预测所有未知三元组的元素。

因此，可以看最近的一个工作， 《Is Large Language Model Good at Triple Set Prediction? An Empirical Study》(https://arxiv.org/pdf/2412.18443,https://github.com/zjukg/LLM-based-TSP) ，看了下如何利用大模型（LLMs）进行三元组预测（TSP），有几个点可以看看。

一个是实验结论。

在规则生成和三元组预测阶段分别使用GPT-3.5-turbo和GPT-4o，结果很直接，GPT-3.5-turbo的平均预测三元组数为3403，正确预测三元组数为96，平均分类指标分别为JPrecision=0.028，STRecall=0.168，FTSP=0.049；

GPT-4o的平均预测三元组数为1276，正确预测三元组数为179，平均分类指标分别为JPrecision=0.14，STRecall=0.374，FTSP=0.204；

所以，LLMs在三元组预测任务中的表现不如预期，主要原因是LLMs在推理过程中容易出现幻觉。

一个是实现步骤，如下，两个阶段，一个是基于LLMs的规则挖掘阶段，一个是于LLMs的三元组预测。

其中：

基于LLMs的规则挖掘阶段，首先将每个三元组的逆三元组添加到KG中。设计详细的提示，包含背景、KG中的关系、规则头、示例和注释，这块也是使用prompt来操作，如下：

使用LLMs根据KG中的关系生成规则，并利用置信度（confidence）和头部覆盖率（head coverage）筛选高质量规则。例如，设置规则长度的阈值K，只保留长度在{2,3}之间的规则，较短的规则更容易理解和应用；使用置信度（confidence）作为筛选规则的标准，只保留置信度高于0.45的规则，高置信度的规则更有可能正确；只保留头覆盖度高于0.05的规则。高头覆盖度意味着规则头在知识图谱中的覆盖率较高。

例如产生的规则如下：

基于LLMs的三元组预测，将知识图谱划分为子图(这样可以限制LLM处理的实体数量，减少其生成幻觉的可能性)，并在每个子图上应用规则(在子图信息提取阶段，过滤掉与规则相关的三元组，只使用与规则无关的三元组进行推理，以减少LLM使用不存在的或错误的三元组进行推理的风险)进行推理(引入链式思维CoT提示设计，使LLM模拟人类的逐步推理过程)，最终合并所有子图的预测结果，这块对应的prompt如下：

整个推理的过程如下：

三、GraphRAG进展，用于多跳-GEAR的思路

如何在多跳问答任务中提高检索RAG性能是个有趣的话题，难题在于，如何在多跳问题中有效地进行跨多个文档或段落的推理；如何减少长提示和多次LLM迭代的需求。

目前，针对这个话题，已有一些尝试，例如，利用图表示来桥接多跳问题引入的语义差距，但都需要依赖LLM遍历图，需要多次LLM迭代，导致长提示和计算成本高。并且，迭代停止的点并不好控制。

所以，这又到了RAG和GRAPH的结合方向，可以看看《GEAR: Graph-enhanced Agent for Retrieval-augmented Generation》(https://arxiv.org/pdf/2412.18431)。

这个工作的核心就是使用SyncGE组件利用LLM进行图扩展，核心两个问题：如何定位初始三元组（即起始节点）Tq，如何在减少搜索空间的同时基于初始三元组扩展图。如下：

先说第一个问题，如何定位初始三元组。SyncGE组件首先利用LLM读取初步检索到的段落列表，并总结支持当前查询的三元组知识。然后，通过tripleLink函数(就是检索T中最相似的三元组)将这些三元组与索引中的三元组链接，识别出初始节点。

构图的prompt:

在扩展方面，使用多样三元组束搜索算法扩展图。该算法在每个扩展步骤中，只考虑最后一个三元组的邻居，避免选择已访问过的三元组，以减少搜索空间。

最后看下效果：

总结

本文主要讲了三个进展，包括知大模型用于知识图谱补全的一个能力测试以及GraphRAG的一个新思路，里面核心还是prompt的设计以及流程workflow的设计。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述