高效微调预训练模型技术及应用
2025-02-16 14:04
No.1340685212891488256
技术概要
PDF全文
本技术涉及一种高效微调预训练模型的技术,包括装置、服务器和存储介质。该技术通过获取文本和图像特征,依据实体类别和可学习参数,实现模型的快速优化。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。 随着大数据技术的发展,自监督学习的预训练视觉语言模型在识别任务中取得了显著的性能。预训练视觉语言模型通过在训练过程中使用大规模的图像-文本对作为输入,以获得与全监督学习方法相当的效果;同时,预训练视觉语言模型对于新的数据集具有很好的可迁移性,并进而较容易地扩展到其他任务,例如:目标检测、语义分割和三维感知;预训练视觉语言模型具有出色的泛化能力,但当预训练视觉语言模型应用于数据有限的下游任务时,由于需要支持难以承受的训练资源,预训练视觉语言模型易灾难性遗忘,失去在训练前阶段获得的泛化能力。 在相关技术中,基于预训练视觉语言模型的参数微调方法,能够解决上述视觉语言模型易灾难性遗忘的问题,相关技术中,预训练视觉语言模型的参数微调方法包括基于适配器的方法和基于提示的方法,其中,基于提示的方法在下游任务的知识迁移方面表现出了更好的性能。在相关技术中,基于提示的方法集中在单一模式提示学习的设计上,忽视了文本和视觉特征之间的相互联系和差异,降低预训练视觉语言模型的微调准确率,此外,基于提示的微调方法所采用的物理机制,不能有效的提高预训练视觉语言模型在下游任务的迁移能力。 针对相关技术中基于提示的预训练视觉语言模型的参数微调方法,准确率低且在下游任务中的迁移能力弱的问题,尚缺少较佳技术方案。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
金鑫  张文垚  曾文军
技术所属: 宁波东方理工大学(暂名)
相关技术
新场景下目标检测性能自适应度量方法 新场景下目标检测性能自适应度量方法
基于自协作并行生成对抗网络的无监督真实图像去噪方法 基于自协作并行生成对抗网络的无监督真实图像去噪方法
基于采样差异作为扰动的自监督真实图像去噪方法 基于采样差异作为扰动的自监督真实图像去噪方法
基于单幅RGB图像的高光谱重建方法 基于单幅RGB图像的高光谱重建方法
预训练模型的高效微调方法、装置、服务器及存储介质 预训练模型的高效微调方法、装置、服务器及存储介质
一种眼象图质量控制方法、装置、存储介质和设备 一种眼象图质量控制方法、装置、存储介质和设备
图像处理方法及装置 图像处理方法及装置
一种关注长短期时间关系的视频行人重识别方法 一种关注长短期时间关系的视频行人重识别方法
一种基于ID-YOLOv8的老、幼、孕、残检测方法 一种基于ID-YOLOv8的老、幼、孕、残检测方法
一种风电叶片用拉挤板材表面缺陷的检测方法及系统 一种风电叶片用拉挤板材表面缺陷的检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利