本技术的实施例提供了一种基于子空间前景感知的少样本目标检测方法与系统,该方法包括获取支持图像和查询图像;将支持图像和查询图像输入至经训练的基于子空间前景感知的少样本目标检测模型中,得到基于子空间前景感知的少样本目标检测模型输出的目标检测结果,基于子空间前景感知的少样本目标检测模型至少基于双向对比损失函数训练得到,目标检测结果至少包括检测框、目标分类、置信度、回归参数,其中,基于子空间前景感知的少样本目标检测模型用于至少基于前景感知模块、多个基于子空间的特征聚合模块,对查询图像进行目标检测,以得到目标检测结果。
背景技术
作为计算机视觉领域具有挑战性的任务之一,目标检测的任务是对图像或视频中的多个目标进行分类和定位。基于深度学习的目标检测技术需要大量的训练样本支撑,在少样本情况下,现有的成功检测模型的性能会大大降低甚至失效。在现实场景中,由于其迭代更新速度块,收集并标注种类多数据量大的数据集是一件十分困难的事情,不仅需要时间和人力成本还需要技术支持。因此,专注于解决少样本条件下,提升模型对新类目标的检测精度是一个值得研究的方向。目前,解决少样本问题的主流方法有元学习和迁移学习。基于元学习的少样本目标检测利用大量的元任务训练模型,使模型具有处理不同任务的能力,从而达到仅利用少量的新类样本微调模型就可检测出新类目标的目的,缺点是计算量大。基于迁移学习的少样本目标检测利用含大量带标注数据的源域上训练模型,并迁移到目标域上,缺点是源域数据和目标域数据分布差异大时模型效果差。综合考虑计算量和模型的效果,本发明选择元学习方法处理少样本目标检测问题。大多数基于元学习的少样本目标检测通过建模已知样本(支持样本)与未知样本(查询样本)之间的关系,实现支持样本和查询样本类别信息的交互,但是这些少样本目标检测模型面向复杂背景的图像时,难以获取高质量特征并实现精细化聚合和目标匹配,从而难以获得令人满意的精度。
现有的基于元学习的少样本目标检测大多从特征增强和特征聚合两个方面进行改进,充分学习少量支持样本的信息,以指导模型检测。
在特征增强方面:Meta R-CNN、DCNet采用通道掩码的方式突出特征的前景信息,即给RGB图像外加一个通道,在真实标注框内的空间像素赋值为1,不在标注框内的赋值为0。DAnA采用注意力的方式对特征的前景信息进行加强,使模型自适应处理对任务贡献更大的前景特征,实现更精准的前景信息表达。
在特征聚合方面:标准的少样本目标检测分为整体特征聚合和RoI特征聚合。整体特征聚合旨在聚合支持特征和查询特征,聚合特征用于生成候选框特征。RoI特征聚合旨在聚合支持特征和查询RoI特征,聚合特征用于实现最终目标检测。
然而,现有技术中存在包括但不限于以下诸多问题:
1)在特征增强方面,通道掩码的前景增强方式中所有的前景特征都被视为等重要程度的,这不利于前景语义特征的表达。基于注意力的前景增强方式对所有的通道采用相同的处理模式,没有针对特定的语义进行精细化处理,导致模型无法很好地区分不同语义的前景信息,从而影响模型的性能。
2)在特征聚合方面,基于向量的聚合方式简单直观,但会丢失一些重要的空间特征信息,因此无法充分学习到特征之间的复杂关系,局限于线性组合。这种方法在复杂背景下的小目标定位方面表现不佳。基于卷积的特征聚合虽然能够局部有效地提取特征,并保留一定程度的空间信息,但在实际应用中,支持特征空间信息的损失可能导致支持特征和查询特征的对应关系不完整。而这种不完整的对应关系会影响模型的特征匹配,从而影响目标检测的准确性和鲁棒性。基于注意力机制的聚合方式对所有子空间特征采用相同的融合方式,导致不同语义之间相互干扰,直接影响聚合特征的表达能力,从而影响模型的检测精度。
具体地,基于元学习的少样本目标检测模型的关键任务是匹配支持特征与查询特征。然而,当支持类为玻璃瓶时,若查询图像中出现形状、大小及透明度相近的塑料瓶,模型在提取的特征中难以找到区分性的差异,进而错误地将塑料瓶类归为前景类,导致错误的检测结果。
实现思路