本技术介绍了一种高效的文本问答系统,该系统基于精简型大型语言模型,属于人工智能技术领域。该方法包括接收输入文本,并将其传递给精简型大型语言模型以获得响应。
背景技术
一方面,基于超大规模参数的语言模型体现出了令人振奋的通用和专用的涌现学习能力,另一方面,训练和推理一个大语言模型所需的算力也使得大语言模型的门槛居高不下。大语言模型的表现和其模型规模直接相关,规模效应十分显著,模型参数量越大,训练数据越多,则模型效果越好,这使得成本和效果成为了困难的权衡,而已投入实用的大语言模型也面临巨量的算力能源消耗。因此,学界和业界一直在努力小型化大语言模型,使得小规模的语言模型能保留接近大语言模型的能力。
目前,小型化语言模型大多关注在模型上微调参数,以忘记一些无需知道的敏感信息,从而保留大语言模型的通用知识能力,使小模型在各个基准测试(benchmark)上取得更好的得分。
但在实际应用中,有很多场景中并不需要大语言模型的通用知识能力,只需要具体领域的知识能力,比如客服、问诊、咨询、导航、推荐等,而这些细分领域的大语言模型更多地是通过对通用大语言模型的微调来得到的,使其一方面有大语言模型的通用能力,另一方面也拥有领域专属的知识能力,这使得专有大语言模型必须保留大语言模型的参数量,同时保留大量任务并不需要的知识能力。另外,微调更新的是模型参数,并没有改变参数量,也没有改变模型的大小和结构。
基于此,我们提出了一种在训练微调模型专有知识能力的同时,尽可能忘记不需要的多任务解决能力,只保留与特定任务相关的通用语言能力的方法。我们提出剪枝以遗忘的方法,通过剪枝来促使大语言模型忘记不重要的知识,但保留当前特定任务相关的重要神经网络通路。
实现思路