一种基于异构硬件的AI数据处理加速方法
2025-02-22 12:25
No.1342834685126123520
技术概要
PDF全文
本技术公开了一种基于异构硬件的AI数据处理加速方法,属于数据处理计算技术领域,具体包括:配置API接口,为硬件设置算子信息库,设置MAP操作的算子信息,加载算子信息库和CPU数据处理流水线,提取流水线中的MAP操作建立IR树,遍历IR树,利用算子信息库可策略搜索方法筛选出可迁移节点,对可迁移节点序列化,建立可迁移节点操作序列并转存入树适配器中,根据负载均衡策略和反序列化,将可迁移节点迁移到不同的异构加速硬件中执行,同时利用树适配器删除IR树中的可迁移节点,将更新后的IR树标记为执行树,CPU按照执行树并行执行MAP操作,本发明能够自动有效整合和利用异构硬件资源进行数据处理加速。
背景技术
AI数据处理流程包括数据收集、存储、预处理、模型训练和推理优化等步骤,现有的AI数据处理加速方案多应用于模型训练阶段,采用调参、改良算法等方法提高数据处理效率。在实际数据处理过程中,数据预处理过程需要的工作量可能常常占到总工作量的一半以上,为了提高数据处理速度,目前有图像处理单元GPU、神经处理单元NPU等异构硬件来加速AI运算。 在现有技术中,数据处理部分通常是使用CPU对数据集进行数据加载和预处理,然后将处理后的数据分批输入GPU、NPU或TPU等加速硬件中进行网络计算。 但是随着多模态领域数据规模的增长,现有技术在面对大量数据时,CPU处理速度会存在瓶颈,并且现有的一些技术,例如TensorFlow提供的tf.data.Dataset模块仅在CPU上进行数据预处理,缺乏对异构硬件的固有支持,同时现有技术在多种数据操作和异构硬件之间的协同方面也存在局限性,例如JAX库能够在GPU和TPU上实现加速计算,但是仅支持静态形状的张量操作,并且仅支持特定图像处理操作。因此本发明提出一种基于异构硬件的AI数据处理加速方法,用以解决现有技术存在的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
顾乃杰  王聪  张辉  曹延飞
技术所属: 中国科学技术大学
相关技术
一种用于船舶装置虚拟训练的建模系统 一种用于船舶装置虚拟训练的建模系统
基于高风险区域划分的病原微生物物联网实时监测系统 基于高风险区域划分的病原微生物物联网实时监测系统
一种交互式一体机的主壳体 一种交互式一体机的主壳体
无缝拼接的大幅面数码打印方法及系统 无缝拼接的大幅面数码打印方法及系统
一种数据处理方法、装置、服务器及存储介质 一种数据处理方法、装置、服务器及存储介质
基于物联网灯具系统生成部署位置地图的方法和装置 基于物联网灯具系统生成部署位置地图的方法和装置
一种服务的运营业务的实施效果评估方法及装置 一种服务的运营业务的实施效果评估方法及装置
射频中和器的功率调整方法及功率控制系统 射频中和器的功率调整方法及功率控制系统
ECharts图表自定义提示组件的方法及装置 ECharts图表自定义提示组件的方法及装置
基于时空标签时空关联的基础数据检索与集成展示方法 基于时空标签时空关联的基础数据检索与集成展示方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利