一种高精度双层优化方法的神经网络搜索架构构建方法
2025-02-28 21:25
No.1345145049809428480
技术概要
PDF全文
本技术公开了一种高精度双层优化方法的神经网络搜索架构构建方法。在搜索空间中对操作感受野的倾向扩展操作空间只选择倾向的感受野;构建并堆叠普通搜索单元和下采样搜索单元,形成超网;通过高精度双层优化方法搜索得到超网的有向无环图中每个边和边中每个操作的架构权重;通过架构权重和对应操作架构权重乘积作为最终权重,获得每条边中最终权重最大的操作,将对应最终权重作为边的最终权重,以边和操作的结果堆叠更新搜索单元,得到最终的模型架构。在搜索空间中对操作感受野的倾向扩展操作空间并只选择倾向的感受野,减少了探索范围,提高了搜索效率。通过高精度双层优化方法结果高度近似最优架构权重,避免了优化结果出现富集大量池化操作。
背景技术
自动化机器学习(AutoML)是一种旨在简化机器学习任务的技术。传统上,机器学习模型的开发需要专业知识和经验,包括数据预处理、特征工程、模型选择、调优等过程。AutoML旨在自动化这些过程,从而使更多的人能够利用机器学习技术,而无需深入了解其内部的工作原理。自动化机器学习技术的背景可以追溯到对机器学习模型自动化调优的初步尝试,而现代AutoML则更进一步,尝试自动化整个机器学习的工作流程。传统的机器学习算法包含许多超参数,这些参数需要手动调整以获得最佳性能。超参数优化算法可以自动搜索参数空间,并找到最优的参数配置。在深度学习中,网络结构的设计对性能至关重要。神经架构搜索技术通过自动化搜索神经网络的结构和超参数来改善模型的性能。特征工程是机器学习中一个关键的步骤,但通常需要大量的专业知识和经验。自动化特征工程技术尝试自动选择、转换和组合特征,以改善模型的性能。AutoML可以自动选择最适合特定任务的模型,从简单的线性模型到复杂的深度学习模型。除了模型开发阶段,AutoML还可以自动化模型的部署和管理,使其能够轻松地集成到实际应用中。自动化机器学习技术的发展旨在降低使用门槛,加速模型的开发过程,并使更多的人能够受益于机器学习技术的应用。 神经架构搜索(Neural Architecture Search,NAS)是一种利用机器学习方法自动化设计神经网络结构的技术。传统上,神经网络结构是由人类专家设计的,通常是基于经验和直觉,需要大量的试验和迭代才能获得较好的性能。而NAS的目标是通过算法来自动化这一过程,使得神经网络的设计更加高效和智能化。随着计算资源的增长,特别是GPU和TPU等专用硬件的广泛应用,使得可以更快速地进行神经网络的训练和评估,这为NAS提供了更多的实验条件。深度学习在计算机视觉、自然语言处理等领域取得了巨大成功,这也促进了对更复杂、更高效神经网络结构的需求,同时也催生了对自动设计神经网络的需求。随着神经网络结构的不断演进,网络的结构空间也变得更加庞大和复杂。NAS技术的出现可以帮助在这个庞大的搜索空间中找到最优的结构。强化学习等优化算法的发展使得NAS技术有了更多的方法来搜索最优的网络结构。而自动化机器学习作为一种新兴的领域,涵盖了NAS在内,使得机器学习模型的设计和优化过程更加智能化和自动化。NAS技术的背景是计算资源的增长、深度学习的发展、搜索空间的扩大、强化学习的进展以及自动化机器学习的兴起等因素共同推动的结果。这些因素促进了NAS技术的发展和应用,使得神经网络结构的设计变得更加智能和高效。 但是,研究人员在进行神经网络架构搜索的相关研究时,发现构建出的神经网络搜索架构的搜索效率低,以及搜索结果并非最优架构甚至是极端的架构。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
谷宇  王满晟  杨立东  张宝华  刘新  李建军  黄显武
技术所属: 内蒙古科技大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利