本技术涉及人工智能领域,特别是自然语言处理和深度学习技术。提供了一种模型预训练技术,包括装置、设备、存储介质和程序产品。该技术通过特定方法实现,旨在提升模型性能和应用范围。
背景技术
近年来随着自然语言处理技术的不断发展,基于大语料和大规模参数的生成式预训练语言模型(如GPT3(General Pre-trained Transformer-3,第三代通用预训练转换器)等)逐渐走入人们的视野。这些模型无需进行微调就可以给予输入的各种前缀和提示生成丰富的文本,可以被广泛应用于问答、写作、对话等各种领域。
然而,现有的生成式预训练模型生成的内容相较于自然语言依然存在例如用词不当、前后矛盾、语言重复等等问题。
实现思路