激活函数优化的DNNs安全增强技术
2025-02-15 12:37
No.1340301098803798016
技术概要
PDF全文
本技术提出了一种基于激活函数优化的深度神经网络(DNNs)安全增强方法。该方法在传统激活函数的基础上,设计了一种类似山峰形状的新型激活函数,并实现了神经元的空间重构。通过分析神经元的空间约束,该技术能够自适应地调整激活函数的峰值,以增强DNNs的安全性和稳定性。
背景技术
在深度神经网络(DNNs)中,激活函数通过引入非线性特性,使得网络能够学习复杂的模式和关系,这对于深度学习模型的性能至关重要。目前,关于深度神经网络中激活函数的研究主要集中在饱和性、非线性、连续性、可微性以及计算效率等因素上。然而,作为神经网络的关键组成部分,激活函数还应具备对输入数据的辨别能力,以便限制无关及错误神经元输入扰动的传播。这一要求对于保持系统的可靠性尤为重要,尤其是在人工智能驱动的安全关键系统(AISCS)中,这些系统往往容易受到各种安全挑战的影响。例如,具有物理访问权限的个体可以利用激光注入攻击来干扰部署深度神经网络的相关硬件。因此,深入研究激活函数,使DNNs能够抵御这些安全威胁具有重要的理论和实际意义。 近年来,针对神经网络激活值输出范围以增强模型可靠性的方法逐渐增多,例如ClipAct、Ranger和BReLU。ClipAct是一种错误缓解技术,通过用剪切版本替换无界激活函数,从而压缩高强度错误激活值。Ranger则是一种自动转换方法,它有选择性地限制深度神经网络(DNNs)中激活值的范围,从而减少由关键故障引发的较大偏差。然而,ClipAct和Ranger都依赖于从训练数据中得出的静态统计信息来为每个神经元设置阈值,这使得它们在动态输入感知方面存在一定的不足。BReLU采用梯度上升算法,以确定所有层上ReLU激活的上限,旨在通过限制每层的最大ReLU激活值来抑制故障传播。这一方法主要聚焦于ReLU激活函数,而忽略了对其他激活函数的处理。此外,这些方法在提高模型可靠性的同时,可能会牺牲一定程度的模型准确度。同时,它们对与每个神经元相关的阈值提出了额外的存储需求。因此,如何利用更少的存储资源,实现模型准确性与可靠性的双重提升,仍然是一个亟待解决的研究问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
肖杰  刘爱竹  郭佳俊  杨哲照  应浩  黄彧豪  施展辉
技术所属: 浙江工业大学
相关技术
一种油气管道安全巡检系统 一种油气管道安全巡检系统
一种基于全闪存优化储备池网络性能的方法 一种基于全闪存优化储备池网络性能的方法
红外触摸框的电路结构、红外触摸框及红外触摸屏 红外触摸框的电路结构、红外触摸框及红外触摸屏
一种坐标系转换方法、系统、设备及存储介质 一种坐标系转换方法、系统、设备及存储介质
一种移动数据存储装置的数据解密方法 一种移动数据存储装置的数据解密方法
一种用于数字地球的高维数据检索方法、设备及介质 一种用于数字地球的高维数据检索方法、设备及介质
一种用于集成电路芯片验证的通用验证系统 一种用于集成电路芯片验证的通用验证系统
基于大数据的供热系统负荷预测方法、系统和介质 基于大数据的供热系统负荷预测方法、系统和介质
神经网络的执行方法及相关装置 神经网络的执行方法及相关装置
井道电子标签故障上报方法、装置及电子设备 井道电子标签故障上报方法、装置及电子设备
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利