本技术介绍了一种结合混合专家系统的可见光与红外图像语义分割技术。该技术构建了一个神经网络模型,能够将可见光和红外图像特征有效整合,实现更高精度的图像分割效果。
背景技术
在计算机视觉和图像处理领域,基于可见光和红外图像融合的语义分割是一个重要且活跃的研究方向。随着技术的发展,越来越多的应用领域需要在不同环境条件下都能稳定工作的图像处理系统。这些领域包括自动驾驶、安全监控、军事侦察、搜索救援以及工业检测等。在这些应用中,有效地融合可见光和红外图像的技术将极大地提高系统的可靠性和准确性。例如,在夜间或恶劣天气条件下,可见光相机可能无法捕捉到清晰的图像,而热成像仪则可以检测到由于温度差异而产生的图像信息;反之,可见光图像可以补充红外图像所缺乏的细节信息和颜色信息,从而产生更加精细的语义分割结果。
如何利用可见光与红外图像的互补性以改善语义分割的效果一直是RGB-T语义分割领域研究的重点。
Deng等人在《FEANet:Feature-Enhanced Attention Network for RGB-ThermalReal-time Semantic Segmentation》中引入了一个特征增强注意力模块,从通道和空间两个角度挖掘和增强多层次特征,从而保留空间信息,细化细节特征,并将更多的注意力转移到融合后的高分辨率特征上。Zhou等人在《MFFENet:Multiscale Feature Fusion andEnhancement Network For RGB–Thermal Urban Road Scene Parsing》中提出了一个空间注意力机制模块,该模块为前景区域提供更高的权重,并引入多标签监督来优化模型参数。Zhang等人在《ABMDRNet:Adaptive-weighted Bi-directional Modality DifferenceReduction Network for RGB-T Semantic Segmentation》中采用基于双向图像翻译的方法来减少可见光特征和红外特征之间的模态差异,然后以通道加权融合的方式自适应地选择有判别性的多模态特征用于语义分割。然而,上述方法往往设计了复杂的基于注意力的特征融合模块,显著增加了模型的计算开销。
Fan等人在《Spatial-aware Demand-guided Recursive Meshing for RGB-TSemantic Segmentation》中提出了一种空间感知的需求导向递归网络,通过需求导向的目标掩蔽算法,主动补偿光学受损区域中不充分的上下文语义,并通过递归网格细化融合后的语义特征。Shin等人发表的《Complementary Random Masking for RGB-ThermalSemantic Segmentation》中提出了可见光与红外图像的互补掩模策略,鼓励网络从单个模态或互补掩蔽模态中学习互补的特征表示,提高了像素级语义分割的性能。然而,上述方法并未考虑模型在应对不同场景时的泛化能力。
实现思路