本技术方案涉及人工智能领域,具体为一种深度学习模型优化技术及装置。该技术通过训练数据构建并训练第一深度学习模型,进一步提取模型的自注意力机制特征,实现模型的高效压缩。
背景技术
近年来,随着算力的提升和算法的优化,深度神经网络在图像分类、自然语言处理、语音识别等领域取得了显著成果。
然而,使用深度学习模型时常面临着庞大的参数和高计算需求,导致显存占用和计算延迟显著增加,特别是在资源受限的环境(如移动设备和边缘计算)中部署变得困难。相关技术中,模型轻量化技术主要通过减小神经网络模型的规模和降低计算复杂度,使得模型在有限资源的情况下实现高效推理和部署。当前技术主要通过网络剪枝、知识蒸馏等方法进行模型轻量化,但这些方法往往需要大量的计算资源和时间。此外,在高压缩比情况下,剪枝后的模型精度存在恢复效果不佳的问题,严重影响了模型的整体性能。
因此,亟待设计一种技术方案,用于解决上述至少一个技术问题。
实现思路