本技术公开了一种基于混合专家的小样本目标检测方法和装置,属于目标检测技术领域,包括:采用重复上采样和数据增强方式对新类别小样本图像进行增强;构建基于混合专家的小样本目标检测模型,其包括共享浅层特征网络、每个混合专家的独有深层特征网络、特征融合网络、以及每个混合专家对应的目标检测网络;利用基础类别图像和新类别增强图像对上述基于混合专家的小样本目标检测模型进行参数优化,本发明利用混合专家巧妙结合了不同深度的特征,学习不同深度的知识,提高了模型在小样本目标检测任务上的检测性能;同时提出结合上采样和数据增强,不仅有效减轻了上采样过程带来的过拟合问题,而且加强了小样本数据的多样性,提高了模型的鲁棒性。
背景技术
目标检测是计算机视觉领域的一项基本任务,旨在识别出图像中的各种事物并对它们进行分类。传统的目标检测方法往往依赖于大量的标注数据来训练模型,但是收集大量高质量的标注数据成本高昂,因此小样本目标检测(Few-Shot Object Detection,FSOD)应运而生。小样本目标检测旨在解决传统目标检测模型在标注数据稀缺情况下性能下降的问题,缩小机器视觉模型与人类视觉系统之间的这一差距,使模型能够在仅有极少量标注样本的情况下,也能准确检测到新类别的对象。
目前的小样本目标检测方法主要从三方面出发来提升模型的检测性能.第一,改善模型的遗忘性:模型需要借助预训练时期学习到的基础类别知识来辅助小样本类别的学习,因此不在小样本类别学习的时候遗忘先前学习到的知识极其重要;第二,改善模型的混淆性:模型在学习小样本类别时并不希望和预训练时期学习到的基础类别知识产生混淆,导致无法区分是基础类别还是小样本类别;第三,类别不平衡处理:由于模型在预训练时期的基础类别图像数目巨大,因此如何平衡小样本类别和基础类别图像数目的巨大差异尤为重要。
现有的小样本目标检测方法通常分为两阶段。阶段1都是在具有大量数据标注的基础类别图像上进行预训练,然后阶段2冻结主干网络(本文使用ResNet-101)权重在小样本类别和基础类别上采用各式各样的方案进行微调。这样的方法的缺点在于主干网络的特征在微调期间已经被冻结无法进一步进行优化,同时仅仅使用最深层的特征进行学习,学习到的特征有时候并不能很好的区分基础类别和新类别,虽然目前已经存在例如特征金字塔网络(Feature Pyramid Network,FPN)来应对仅使用最深层网络的问题,但是FPN在处理不同深度特征上并不够灵活,因此结合不同深度特征的问题仍值得探究;还有,小样本目标检测任务在应对类别不平衡处理时,往往采用简单的上采样或下采样的方式,从而忽视较为传统的数据增强方法。
实现思路