基于持续知识保护分解的小样本持续学习方法及系统
2025-02-23 12:08
No.1343192919280197632
技术概要
PDF全文
本技术属于人工智能与深度学习领域,为了解决新旧知识的不平衡和适配性差的问题,提供基于持续知识保护分解的小样本持续学习方法及系统。其中,基于持续知识保护分解的小样本持续学习方法包括基于每个类别的回放样本数据及持续学习模型骨干网络,经奇异值分解得到知识敏感成分和冗余容量成分;在增量适配训练过程中,冻结知识敏感成分所对应的预训练线性权重矩阵;同时利用冗余容量成分来构建可学习的适配器,更新预训练线性权重矩阵;重新获取小样本回放数据,基于更新后的预训练线性权重矩阵再次进行奇异值分解及增量适配训练操作。其通过协方差矩阵的动态更新,实现了新旧知识的平衡和高效适配,提高了分类结果的准确性。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。 小样本持续学习旨在通过有限的数据学习新类别的同时保护已有知识。然而,该领域面临灾难性遗忘的挑战,即在学习新类别时,模型容易覆盖之前的知识。此外,有标签样本的稀缺性使得可用于学习新类别有标签数据较少,这增加了过拟合的风险,进一步削弱了模型的泛化能力。在实际应用中,例如自适应推荐系统和动态环境中的机器人导航,小样本持续学习算法需要保证模型在有限资源下有效适应新信息,同时不影响已有知识的稳定性。为应对上述挑战,现有方法主要分为以下几类:(1)数据回放方法:通过存储或生成已学类别的数据来缓解遗忘问题,但通常会带来存储成本或生成质量不稳定的问题;(2)基于优化的方法:利用元学习、特殊损失函数或几何约束,从有限数据中提升学习效果,但难以平衡稳定性与适应性;(3)动态适应技术:引入动态架构或可学习适配器以适应新类别,但可能增加模型复杂性和推理开销。 尽管现有方法在一定程度上提升了性能,但在平衡稳定性与适应性方面仍存在显著局限。首先,完全微调模型易引发灾难性遗忘。因此,多数方法选择冻结骨干网络以保护已有知识,但这限制了模型对新任务的适应能力,容易导致模型对新类别的学习能力不足。其次,一些方法通过引入额外的任务特定的可学习模块并仅在适应阶段进行微调,尽管这类方法提高了模型对新任务的适配能力,却不可避免的增加了模型参数量和推理复杂度,且容易对已有知识造成灾难性遗忘,从而降低了分类结果的准确性。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
李潇婕  吴建龙  王蓓  杨一博  聂礼强  张民
技术所属: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利