本技术涉及一种创新的检索增强文本生成方法,该方法首先对查询文本执行检索以获取候选相关文本。随后,利用初始化的上下文序列和先进的序列生成模型,生成当前预测文本块的向量表示,以此作为生成过程的基础。
背景技术
随着自然语言处理和深度学习的快速发展,越来越多的任务开始使用预训练语言模型来提高效果,如信息检索、问答系统、对话生成等。为了适应下游任务,预训练语言模型通常需要结合任务相关的提示词( prompt)进行微调或提示学习。当前提示词的构建方法主要通过在大规模语料库中检索与输入相关的信息,并将检索得到的相关信息直接拼接得到提示词。
但是,直接将检索结果拼接到输入,忽略了检索文本的噪声和冗余,导致生成的提示词质量不高,进而影响基于提示词进行微调或提示学习的训练效果。
实现思路