交叉注意力与图神经提示驱动的知识图谱问答系统
2025-02-13 10:25
No.1339543046248996864
技术概要
PDF全文
本技术涉及知识图谱多跳问答技术,特别是一种结合双向交叉注意力机制和图神经提示的知识图谱问答方法及系统。该方法涵盖了获取问题上下文的语义和文本表示,以及利用这些表示进行问答处理的步骤。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。 多跳知识图谱问答任务是一种复杂的问答任务,要求模型根据问题描述,并在知识图谱中通过多步推理来获取问题的答案。相较于单跳问答可以直接通过查询知识图谱就能获得答案,多跳问答则需要从知识图谱中找出一系列的关系链路来回答问题。例如,要回答“谁是xxx的女婿?”这个问题,就需要先找到xxx的女儿,然后再找到其女儿的配偶。 知识图谱多跳问答可以应用于解决各个领域的问题,例如金融、医疗、环境等,通过分析和推理大量的数据来提供解决方案。在此任务中,知识图谱作为一个结构化的信息存储库,包含了大量的实体节点和它们之间的关系;具体的做法是从自然语言问题文本入手,在知识图谱中进行推理来获取问题的答案。 预训练语言模型是一种基于大量文本数据通过无监督学习方法预先训练的模型。这类模型能够很好地捕捉语言文本中的广泛语法规则和语义信息,以便能够在进行特定任务前,已经具备一定的语言理解基础。关键技术基础是Transformer架构,特别是利用自注意力机制来理解输入文本的上下文。 提示学习一般设计一系列提示标记P,并将其添加文本标记X上,稍后将其视为预训练语言模型的输入来生成预测:y=f([P,X]);其中,提示标记P可以是文本输入的形式(硬提示),也可以是可学习嵌入向量的形式(软提示)。图神经提示学习主要面向图数据,通过获取特定的图结构或特征作为提示。 当前的知识图谱问答主要是针对多项选择题的形式,具体来说,给定问题Q、一组答案选项A={a1 …an };通过设计一个机器学习模型,来根据问题从答案候选选项中选出正确的答案。 目前,针对多选项选择的知识图谱问答主要采用“语言模型+知识图谱”的方法来解决,具体来说,就是将语言模型作为文本编码器来将问题转化为嵌入向量,然后利用图神经网络进行答案的推理。在早期的研究中,部分研究人员根据问题和答案在知识图谱上生成子图,并提出KagNet模型,利用有效的路径推理和知识感知的语义建模来提高问题解答的准确性和效率,但并没有统一文本和图的表示。还有一些研究人员提出QA-GNN模型,该模型能够初步将文本嵌入更新融合到图的推理中,但是图和文本的融合仅仅在最后一步的推理中,并没有获得充分的特征融合。 因此,目前基于“语言模型+知识图谱”的多跳知识图谱问答方法还存在以下问题: (1)文本向量与图向量在推理过程中只是各自更新自己的嵌入表示,并没有利用对方的有效特征。(2)在最后的答案预测时,只使用单调的文本嵌入,没有获得更全面的信息。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
宗家创  李钊  陈通  王瑞霜  张立国
技术所属: 山东省计算中心(国家超级计算济南中心)  齐鲁工业大学(山东省科学院)
相关技术
一种基于蚁群算法的跨境贸易供应链调度优化方法 一种基于蚁群算法的跨境贸易供应链调度优化方法
一种寒区刚性加铺复合道面结构适航性能评价方法 一种寒区刚性加铺复合道面结构适航性能评价方法
基于气象模型预测机场航空排放物扩散的方法及装置 基于气象模型预测机场航空排放物扩散的方法及装置
基于KL散度和置换检验的概念漂移检测与解释方法 基于KL散度和置换检验的概念漂移检测与解释方法
代码缺陷预测方法、可读存储介质、计算机程序产品 代码缺陷预测方法、可读存储介质、计算机程序产品
基于DQN算法的重型卡车电池系统智能决策方法及相关设备 基于DQN算法的重型卡车电池系统智能决策方法及相关设备
一种基于引力交通模型的历史文化资源结构关系提取及可视化方法与系统 一种基于引力交通模型的历史文化资源结构关系提取及可视化方法与系统
一种超声内检测管道裂纹的三维数值模拟方法 一种超声内检测管道裂纹的三维数值模拟方法
一种重要性感知的大模型前缀KV重排方法和系统 一种重要性感知的大模型前缀KV重排方法和系统
一种多模态信息映射的视觉语言模型窃取攻击方法及系统 一种多模态信息映射的视觉语言模型窃取攻击方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利