人工智能领域下的大模型参数优化技术及应用
2025-02-15 10:47
No.1340273216836608000
技术概要
PDF全文
本技术涉及人工智能领域,具体为一种大模型参数优化技术及其应用。该技术包括以下步骤:首先,收集目标任务相关数据集;其次,基于数据集生成训练集;然后,利用训练集和预设参数对大模型进行微调,以适应特定任务。该技术旨在提升大模型在特定任务上的性能和适应性。
背景技术
大模型在许多任务中表现出良好的效果,即便面对未训练过的任务也有良好的鲁棒性。为了使模型在特定任务中效果更好,一般会利用特定任务的数据集进行微调。但是,如果对大模型的全部参数进行微调需要耗费巨量的显存以及时间。 目前,大模型参数高效微调方法着重关注微调过程中的显存占用量,重点在于如何减少显存占用量,若需训练的样本过多,微调的时间成本将非常高昂,因此,有必要提供一种实现微调过程运算加速,减少微调时间成本的技术方案。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
刘瑜  廖绪涛  李劭辉  李徵  姜智卓  李耀文  何友
技术所属: 清华大学深圳国际研究生院
相关技术
基于历史文化的信息分析管理方法、系统、终端及介质 基于历史文化的信息分析管理方法、系统、终端及介质
任务预测处理方法、设备、产品和介质 任务预测处理方法、设备、产品和介质
一种散热性好的笔记本电脑外壳 一种散热性好的笔记本电脑外壳
一种基于大模型的考试试题生成方法 一种基于大模型的考试试题生成方法
文本纠错方法及装置、电子设备、存储介质 文本纠错方法及装置、电子设备、存储介质
显示面板、显示装置、制作方法和控制方法 显示面板、显示装置、制作方法和控制方法
基于物业数据的隐私预算分配方法、装置、设备、介质 基于物业数据的隐私预算分配方法、装置、设备、介质
基于深度学习的淡水障碍物识别方法和系统 基于深度学习的淡水障碍物识别方法和系统
一种集成大型IP核的FPGA芯片的时序计算方法 一种集成大型IP核的FPGA芯片的时序计算方法
用于数据筛选功能的方法、服务器、用户设备及系统 用于数据筛选功能的方法、服务器、用户设备及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利