利用激活稀疏化的神经网络加速和嵌入压缩系统和方法
2025-02-24 15:28
No.1343605659727568896
技术概要
PDF全文
用于(i)加快深度神经网络(DNN)的推理速度和(ii)将DNN产生的矢量表示从各种输入数据(诸如,图像、音频、视频,以及文本)中压缩出来的系统、方法,以及计算机可读介质。方法实施例将神经网络架构和与任务相关的损失函数作为输入,测量神经网络在训练数据集上的性能,并输出具有稀疏神经元激活的深度神经网络。本技术的流程利用正则化项增强了DNN现有训练目标函数,促进神经元的稀疏激活,并通过利用各种算法来解决优化问题来对DNN进行压缩。本公开还示出了如何在DNN推断过程中利用激活的稀疏化,从而可以使算术运算的次数成比例地减少,以及如何使用由DNN产生的稀疏表示来构建高效的搜索引擎。
背景技术
深度神经网络(DNN)已成为人工智能(AI)领域中用于从较低级别的数据(例如,图像、视频、音频和文本)中提取高级信息的使用最广泛的方法。但是,DNN昂贵的计算成本阻碍了其在能耗、存储空间或时延容忍性方面预算更紧的应用中的使用,尤其是在诸如移动电话和监控摄像头之类的边缘设备(edge device)上的使用。 DNN的计算成本来自多种来源。首先,DNN模型参数通常约为数百万或数千万,导致巨大的存储成本,并阻碍模型参数置于存储器层级(memory hierarchy)中更小但速度更快的存储设备上。其次,DNN的计算图(computation graph)中神经元的数量会占用大量存储器空间,并且在运行时通常需要进行数十亿次算术运算。第三,基于由神经网络生成的矢量表示的搜索引擎(例如,面部比较引擎)通常比传统的基于文本的搜索引擎运算成本高得多,这一部分是由于DNN产生的高维密集矢量表示(嵌入)所导致的。 近年来,正在进行的研究工作集中在降低DNN推理的计算成本上。但是,其中一些常规方法致力于修整DNN模型,包括(i)减少DNN滤波器中非零参数(神经元之间的连接)的数量,(ii)修整网络的一些部分,例如,神经元的通道或滤波器的列/行,以及(iii)将参数和神经元的值范围量化,以减少用于表示这些值的位数。 因此,期望有方法和系统能够提供一种降低高计算强度的更有效的DNN模型。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
严恩勖王维
技术所属: 墨芯人工智能科技(深圳)有限公司.
相关技术
基于高风险区域划分的病原微生物物联网实时监测系统 基于高风险区域划分的病原微生物物联网实时监测系统
一种交互式一体机的主壳体 一种交互式一体机的主壳体
无缝拼接的大幅面数码打印方法及系统 无缝拼接的大幅面数码打印方法及系统
一种数据处理方法、装置、服务器及存储介质 一种数据处理方法、装置、服务器及存储介质
基于物联网灯具系统生成部署位置地图的方法和装置 基于物联网灯具系统生成部署位置地图的方法和装置
一种服务的运营业务的实施效果评估方法及装置 一种服务的运营业务的实施效果评估方法及装置
射频中和器的功率调整方法及功率控制系统 射频中和器的功率调整方法及功率控制系统
ECharts图表自定义提示组件的方法及装置 ECharts图表自定义提示组件的方法及装置
基于时空标签时空关联的基础数据检索与集成展示方法 基于时空标签时空关联的基础数据检索与集成展示方法
一种喷漆机库屋顶分布式光伏系统优化设计方法及系统 一种喷漆机库屋顶分布式光伏系统优化设计方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利