本技术公开了一种高精度双层优化方法的神经网络搜索架构构建方法。在搜索空间中对操作感受野的倾向扩展操作空间只选择倾向的感受野;构建并堆叠普通搜索单元和下采样搜索单元,形成超网;通过高精度双层优化方法搜索得到超网的有向无环图中每个边和边中每个操作的架构权重;通过架构权重和对应操作架构权重乘积作为最终权重,获得每条边中最终权重最大的操作,将对应最终权重作为边的最终权重,以边和操作的结果堆叠更新搜索单元,得到最终的模型架构。在搜索空间中对操作感受野的倾向扩展操作空间并只选择倾向的感受野,减少了探索范围,提高了搜索效率。通过高精度双层优化方法结果高度近似最优架构权重,避免了优化结果出现富集大量池化操作。
背景技术
自动化机器学习(AutoML)是一种旨在简化机器学习任务的技术。传统上,机器学习模型的开发需要专业知识和经验,包括数据预处理、特征工程、模型选择、调优等过程。AutoML旨在自动化这些过程,从而使更多的人能够利用机器学习技术,而无需深入了解其内部的工作原理。自动化机器学习技术的背景可以追溯到对机器学习模型自动化调优的初步尝试,而现代AutoML则更进一步,尝试自动化整个机器学习的工作流程。传统的机器学习算法包含许多超参数,这些参数需要手动调整以获得最佳性能。超参数优化算法可以自动搜索参数空间,并找到最优的参数配置。在深度学习中,网络结构的设计对性能至关重要。神经架构搜索技术通过自动化搜索神经网络的结构和超参数来改善模型的性能。特征工程是机器学习中一个关键的步骤,但通常需要大量的专业知识和经验。自动化特征工程技术尝试自动选择、转换和组合特征,以改善模型的性能。AutoML可以自动选择最适合特定任务的模型,从简单的线性模型到复杂的深度学习模型。除了模型开发阶段,AutoML还可以自动化模型的部署和管理,使其能够轻松地集成到实际应用中。自动化机器学习技术的发展旨在降低使用门槛,加速模型的开发过程,并使更多的人能够受益于机器学习技术的应用。
神经架构搜索(Neural Architecture Search,NAS)是一种利用机器学习方法自动化设计神经网络结构的技术。传统上,神经网络结构是由人类专家设计的,通常是基于经验和直觉,需要大量的试验和迭代才能获得较好的性能。而NAS的目标是通过算法来自动化这一过程,使得神经网络的设计更加高效和智能化。随着计算资源的增长,特别是GPU和TPU等专用硬件的广泛应用,使得可以更快速地进行神经网络的训练和评估,这为NAS提供了更多的实验条件。深度学习在计算机视觉、自然语言处理等领域取得了巨大成功,这也促进了对更复杂、更高效神经网络结构的需求,同时也催生了对自动设计神经网络的需求。随着神经网络结构的不断演进,网络的结构空间也变得更加庞大和复杂。NAS技术的出现可以帮助在这个庞大的搜索空间中找到最优的结构。强化学习等优化算法的发展使得NAS技术有了更多的方法来搜索最优的网络结构。而自动化机器学习作为一种新兴的领域,涵盖了NAS在内,使得机器学习模型的设计和优化过程更加智能化和自动化。NAS技术的背景是计算资源的增长、深度学习的发展、搜索空间的扩大、强化学习的进展以及自动化机器学习的兴起等因素共同推动的结果。这些因素促进了NAS技术的发展和应用,使得神经网络结构的设计变得更加智能和高效。
但是,研究人员在进行神经网络架构搜索的相关研究时,发现构建出的神经网络搜索架构的搜索效率低,以及搜索结果并非最优架构甚至是极端的架构。
实现思路