本技术属于人工智能与深度学习领域,为了解决新旧知识的不平衡和适配性差的问题,提供基于持续知识保护分解的小样本持续学习方法及系统。其中,基于持续知识保护分解的小样本持续学习方法包括基于每个类别的回放样本数据及持续学习模型骨干网络,经奇异值分解得到知识敏感成分和冗余容量成分;在增量适配训练过程中,冻结知识敏感成分所对应的预训练线性权重矩阵;同时利用冗余容量成分来构建可学习的适配器,更新预训练线性权重矩阵;重新获取小样本回放数据,基于更新后的预训练线性权重矩阵再次进行奇异值分解及增量适配训练操作。其通过协方差矩阵的动态更新,实现了新旧知识的平衡和高效适配,提高了分类结果的准确性。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
小样本持续学习旨在通过有限的数据学习新类别的同时保护已有知识。然而,该领域面临灾难性遗忘的挑战,即在学习新类别时,模型容易覆盖之前的知识。此外,有标签样本的稀缺性使得可用于学习新类别有标签数据较少,这增加了过拟合的风险,进一步削弱了模型的泛化能力。在实际应用中,例如自适应推荐系统和动态环境中的机器人导航,小样本持续学习算法需要保证模型在有限资源下有效适应新信息,同时不影响已有知识的稳定性。为应对上述挑战,现有方法主要分为以下几类:(1)数据回放方法:通过存储或生成已学类别的数据来缓解遗忘问题,但通常会带来存储成本或生成质量不稳定的问题;(2)基于优化的方法:利用元学习、特殊损失函数或几何约束,从有限数据中提升学习效果,但难以平衡稳定性与适应性;(3)动态适应技术:引入动态架构或可学习适配器以适应新类别,但可能增加模型复杂性和推理开销。
尽管现有方法在一定程度上提升了性能,但在平衡稳定性与适应性方面仍存在显著局限。首先,完全微调模型易引发灾难性遗忘。因此,多数方法选择冻结骨干网络以保护已有知识,但这限制了模型对新任务的适应能力,容易导致模型对新类别的学习能力不足。其次,一些方法通过引入额外的任务特定的可学习模块并仅在适应阶段进行微调,尽管这类方法提高了模型对新任务的适配能力,却不可避免的增加了模型参数量和推理复杂度,且容易对已有知识造成灾难性遗忘,从而降低了分类结果的准确性。
实现思路