一种面向流数据的持续哈希学习检索方法和装置
2025-02-23 10:10
No.1343163200430153728
技术概要
PDF全文
本申请涉及了一种面向流数据的持续哈希学习检索方法和装置,本方法构建了哈希检索模型,哈希检索模型训练过程引入持续学习框架,首先通过残差网络基于自监督学习从无标签的训练流数据中提取出第一特征,卷积神经网络能够利用第一特征快速学习有标签的样本数据,并将学习到的第二特征反馈给残差网络,以巩固残差网络;训练流数据包括实时采集的第一实时流数据和数据库中的预存流数据,这样模型能够在不断学习新的实时流数据同时避免对旧的预存流数据知识的遗忘,而且持续学习框架还与哈希函数有效连接,利用残差网络和卷积神经网络持续学习进而提取的特征指导哈希函数的学习,不断提高生成的哈希码质量,进一步提升检索性能。
背景技术
哈希检索在数据存储和检索领域应用广泛,其核心是通过特定哈希函数将数据映射为固定长度哈希码。在数据检索时,对于给定查询数据,先计算其哈希码,再依据此码查询可能包含目标数据的区域实现快速检索。 现存大多数哈希检索方法基于批处理训练模式,处理固定数据集时性能优良。因为此时数据分布和特征相对稳定,可对整个数据集学习并优化哈希函数达到良好检索效果。然而,现实世界中数据多以流数据形式存在,具有顺序、大量、快速、连续到达且随时间无限增长的特点。基于批处理训练模式的哈希检索方法难以适应流数据场景,无法实时对新到达数据学习和更新哈希函数。 为了解决流数据处理的问题,一些在线哈希检索方法应运而生。这些方法试图在处理流数据时能够实时更新哈希函数。然而,尽管这些方法在一定程度上能够处理流数据,但它们仍然存在一些局限性。其中一个关键问题是无法有效处理随着流数据块不断出现的未知新类。当新的数据类别出现时,这些在线哈希检索方法难以准确地对新类数据进行表征和学习,从而影响检索性能。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
杨展  龙伟露  龙军  李逸楠  陈云飞
技术所属: 中南大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利