代理模型驱动的动态推理查询优化技术与设备
2025-02-16 10:06
No.1340625329366245376
技术概要
PDF全文
本技术提出了一种代理模型驱动的动态推理查询优化技术及其配套装置,旨在提升数据处理效率。该技术通过接收包含待处理数据和系统资源的数据查询请求,基于此生成多个代理模型,并通过这些模型预测不同查询策略的性能。接着,选择最优策略执行数据查询,以实现资源的高效利用和查询性能的最大化。
背景技术
近年来,随着大数据和人工智能技术的飞速发展,数据规模不断增长,数据分析的过程也变的越来越复杂,通常涉及到复杂的机器学习、深度学习技术,从而从海量数据中挖掘出知识。数据分析的过程以查询的形式体现,而复杂的机器学习、深度学习模型被封装在用户自定义函数(User-Defined Functions,UDFs)中。在大规模数据上,处理复杂的机器学习UDF查询通常是非常耗时的。比如,在一天的监控视频数据上处理一个车辆识别的过滤查询,通常需要花费数周的时间。相关技术提出了一种UDF过滤查询优化方法: S1,定义求解问题;在相关性代理模型的基础之上,首先说明求解问题的搜索空间;然后定义面向UDF过滤查询的重排(Reordering)优化问题,寻找最优的查询执行计划;最后,证明该优化问题是NP-完全问题; S2,构建系统框架;在相关性代理模型的基础之上,构建基于重排技术的UDF过滤查询处理系统框架; S3,设计求解算法;在相关性代理模型的基础之上,设计面向UDF过滤查询的重排(Reordering)优化问题的求解算法; S4,设计优化算法;根据要求解的问题的特性,将底层的搜索树结构进一步细化,提供一种细粒度的搜索树;并且提出一种搜索的过程中的准确率分配算法,进一步收缩候选执行计划的执行代价的上下界。 然而,在数据特征变化或系统资源波动的情况下,上述数据查询的执行效率依旧较低。 目前,针对相关技术中数据查询方法不够高效的问题,还没有提出有效的解决方案。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王嘉豪  杨智慧  伍赛  姚畅  唐秀  汪睿  袁巩生
技术所属: 杭州高新区(滨江)区块链与数据安全研究院  浙江大学
相关技术
FPGA实现硬件逻辑实时仿真的方法及装置 FPGA实现硬件逻辑实时仿真的方法及装置
基于API和数据库的动态标定方法 基于API和数据库的动态标定方法
一种虚拟机的沙箱引擎更新方法、装置、设备和介质 一种虚拟机的沙箱引擎更新方法、装置、设备和介质
频域响应仿真与测量数据处理方法及装置 频域响应仿真与测量数据处理方法及装置
服务数据节点迁移方法、装置、电子设备及存储介质 服务数据节点迁移方法、装置、电子设备及存储介质
配送控制方法、装置、服务器、智能柜及机器人 配送控制方法、装置、服务器、智能柜及机器人
适用于硬件电路的高精度压缩方法、装置及电子设备 适用于硬件电路的高精度压缩方法、装置及电子设备
融合多源信息的打击目标智能识别方法和系统 融合多源信息的打击目标智能识别方法和系统
水利对象关联关系建立方法 水利对象关联关系建立方法
问题解答方法、装置、介质和电子设备 问题解答方法、装置、介质和电子设备
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利