本技术公开了一种具备去场景退化功能的图像融合网络。本发明中,网络可以在执行红外可见光图像融合任务的过程中对可见光图像中的退化信息进行修复,提高了融合方法在恶劣环境下的鲁棒性。提出了基于文本-图像大模型的场景鉴别器,通过对比学习理论建立场景退化Prompts和对应图像之间的关系,经过训练后的场景鉴别器可以自动生成输入图像的退化类型。基于先验知识设计了BANet和DFNet,用于对不受控光照退化和烟雾退化进行修复。BANet和DFNet具备简易、可解释的结构,可以利用文本-图像大模型作为监督自适应的生成修复参数,实现对退化信息的准确复原。
背景技术
红外与可见光图像融合技术是一种将红外图像与可见光图像相结合的先进技术,其目的是充分利用两者的互补信息,提高图像的视觉效果和识别能力,广泛应用于军事侦察、安防监控、遥感探测等领域。红外图像能够捕捉物体发出的红外辐射,反映物体的热分布情况,适用于夜间或低能见度环境下的目标检测。而可见光图像则能提供丰富的颜色和纹理信息,有利于目标的识别和场景的理解。图像融合技术通过一定的算法,将红外图像的热信息与可见光图像的视觉信息有效结合,生成一幅既包含红外特性又具有可见光细节的融合图像。
目前,常见的图像融合方法主要分为两大类:基于像素级的融合方法:该方法直接对图像像素进行操作,例如加权平均、多尺度分解等。基于特征的融合方法:该方法首先提取图像特征,然后进行特征融合,例如基于深度学习的融合方法。
尽管现有的图像融合方法取得了一定的成果,但仍然存在以下问题:
鲁棒性差:现有的融合方法对光照变化、天气等因素敏感,容易导致融合效果下降。
计算复杂度高:基于深度学习的融合方法需要大量的训练数据,且计算复杂度较高。
缺乏对退化信息的修复:现有的融合方法没有对可见光图像中的退化信息进行修复,导致融合结果质量不佳。
实现思路