本技术涉及知识图谱多跳问答技术,特别是一种结合双向交叉注意力机制和图神经提示的知识图谱问答方法及系统。该方法涵盖了获取问题上下文的语义和文本表示,以及利用这些表示进行问答处理的步骤。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
多跳知识图谱问答任务是一种复杂的问答任务,要求模型根据问题描述,并在知识图谱中通过多步推理来获取问题的答案。相较于单跳问答可以直接通过查询知识图谱就能获得答案,多跳问答则需要从知识图谱中找出一系列的关系链路来回答问题。例如,要回答“谁是xxx的女婿?”这个问题,就需要先找到xxx的女儿,然后再找到其女儿的配偶。
知识图谱多跳问答可以应用于解决各个领域的问题,例如金融、医疗、环境等,通过分析和推理大量的数据来提供解决方案。在此任务中,知识图谱作为一个结构化的信息存储库,包含了大量的实体节点和它们之间的关系;具体的做法是从自然语言问题文本入手,在知识图谱中进行推理来获取问题的答案。
预训练语言模型是一种基于大量文本数据通过无监督学习方法预先训练的模型。这类模型能够很好地捕捉语言文本中的广泛语法规则和语义信息,以便能够在进行特定任务前,已经具备一定的语言理解基础。关键技术基础是Transformer架构,特别是利用自注意力机制来理解输入文本的上下文。
提示学习一般设计一系列提示标记P,并将其添加文本标记X上,稍后将其视为预训练语言模型的输入来生成预测:y=f([P,X]);其中,提示标记P可以是文本输入的形式(硬提示),也可以是可学习嵌入向量的形式(软提示)。图神经提示学习主要面向图数据,通过获取特定的图结构或特征作为提示。
当前的知识图谱问答主要是针对多项选择题的形式,具体来说,给定问题Q、一组答案选项A={a1
…an
};通过设计一个机器学习模型,来根据问题从答案候选选项中选出正确的答案。
目前,针对多选项选择的知识图谱问答主要采用“语言模型+知识图谱”的方法来解决,具体来说,就是将语言模型作为文本编码器来将问题转化为嵌入向量,然后利用图神经网络进行答案的推理。在早期的研究中,部分研究人员根据问题和答案在知识图谱上生成子图,并提出KagNet模型,利用有效的路径推理和知识感知的语义建模来提高问题解答的准确性和效率,但并没有统一文本和图的表示。还有一些研究人员提出QA-GNN模型,该模型能够初步将文本嵌入更新融合到图的推理中,但是图和文本的融合仅仅在最后一步的推理中,并没有获得充分的特征融合。
因此,目前基于“语言模型+知识图谱”的多跳知识图谱问答方法还存在以下问题:
(1)文本向量与图向量在推理过程中只是各自更新自己的嵌入表示,并没有利用对方的有效特征。(2)在最后的答案预测时,只使用单调的文本嵌入,没有获得更全面的信息。
实现思路