本技术提出了一种基于激活函数优化的深度神经网络(DNNs)安全增强方法。该方法在传统激活函数的基础上,设计了一种类似山峰形状的新型激活函数,并实现了神经元的空间重构。通过分析神经元的空间约束,该技术能够自适应地调整激活函数的峰值,以增强DNNs的安全性和稳定性。
背景技术
在深度神经网络(DNNs)中,激活函数通过引入非线性特性,使得网络能够学习复杂的模式和关系,这对于深度学习模型的性能至关重要。目前,关于深度神经网络中激活函数的研究主要集中在饱和性、非线性、连续性、可微性以及计算效率等因素上。然而,作为神经网络的关键组成部分,激活函数还应具备对输入数据的辨别能力,以便限制无关及错误神经元输入扰动的传播。这一要求对于保持系统的可靠性尤为重要,尤其是在人工智能驱动的安全关键系统(AISCS)中,这些系统往往容易受到各种安全挑战的影响。例如,具有物理访问权限的个体可以利用激光注入攻击来干扰部署深度神经网络的相关硬件。因此,深入研究激活函数,使DNNs能够抵御这些安全威胁具有重要的理论和实际意义。
近年来,针对神经网络激活值输出范围以增强模型可靠性的方法逐渐增多,例如ClipAct、Ranger和BReLU。ClipAct是一种错误缓解技术,通过用剪切版本替换无界激活函数,从而压缩高强度错误激活值。Ranger则是一种自动转换方法,它有选择性地限制深度神经网络(DNNs)中激活值的范围,从而减少由关键故障引发的较大偏差。然而,ClipAct和Ranger都依赖于从训练数据中得出的静态统计信息来为每个神经元设置阈值,这使得它们在动态输入感知方面存在一定的不足。BReLU采用梯度上升算法,以确定所有层上ReLU激活的上限,旨在通过限制每层的最大ReLU激活值来抑制故障传播。这一方法主要聚焦于ReLU激活函数,而忽略了对其他激活函数的处理。此外,这些方法在提高模型可靠性的同时,可能会牺牲一定程度的模型准确度。同时,它们对与每个神经元相关的阈值提出了额外的存储需求。因此,如何利用更少的存储资源,实现模型准确性与可靠性的双重提升,仍然是一个亟待解决的研究问题。
实现思路