GPU显存数据传输:方法、设备及计算机程序产品
2025-02-12 11:33
No.1339197828173668352
技术概要
PDF全文
本技术涉及一种方法、装置、设备、计算机程序产品和存储介质,用于将数据库数据传输至GPU显存。计算机设备持续从数据库读取目标数据至CPU内存,然后通过DMA技术直接传输至GPU显存,实现高效数据传输。
背景技术
当前Nvidia GPU已经能够提供很高的数据并行计算能力。GPU Direct Storage(GPU 直接存储技术)使得GPU能够直接读取文件,而无需经过CPU。这种直接访问大大减少了数据传输的延迟,提高了数据读取的速度和整体系统性能。但是,当面对从数据库进行取数的需求时,GPU Direct Storage并没有提供相应的解决方案。 Rapids CUDF作为一个开源库,提供了丰富的数据处理功能,能够在GPU上高效地处理数据。CUDF支持多种文件格式的读取,包括CSV、Parquet、JSON、ORC和AVRO等,这些文件可以直接被加载到GPU显存中形成DataFrame,从而利用GPU的并行计算能力进行数据处理。 然而,CUDF目前也不支持直接从数据库中读取数据。用户需要先将数据从数据库读取到CPU内存中,再借助CUDF将数据拷贝至GPU显存中。该过程往往占据过高的CPU内存,这不仅限制了可以处理的数据量,还可能导致内存溢出等问题。并且,CPU读完数据后再进行传输,使得处理传输性能不高。同时,该传输过程还会带来额外的开销,降低系统的整体性能,增加处理时间。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
叶壹力杨竞霜
技术所属: 嘉实远见科技(北京)有限公司.
相关技术
多播放器的管理方法和装置、存储介质及电子设备 多播放器的管理方法和装置、存储介质及电子设备
感应面板及其制备方法、感应装置 感应面板及其制备方法、感应装置
业务对象推荐方法、装置、电子设备及存储介质 业务对象推荐方法、装置、电子设备及存储介质
一种智能数字人直播营销交互方法及系统 一种智能数字人直播营销交互方法及系统
模型预训练方法、装置、设备、存储介质以及程序产品 模型预训练方法、装置、设备、存储介质以及程序产品
一种压片式磁感应编码器及电子器件 一种压片式磁感应编码器及电子器件
一种CAN总线数据传输器 一种CAN总线数据传输器
一种平板电脑防摔保护外壳 一种平板电脑防摔保护外壳
基于知识图谱和表示学习的滑坡空间预测方法 基于知识图谱和表示学习的滑坡空间预测方法
无镜头成像系统轻量型预处理网络的FPGA实现架构 无镜头成像系统轻量型预处理网络的FPGA实现架构
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利