本技术提出了一种应用于复杂天气条件下的无监督图像恢复方法,基于对比学习的框架,所构建的网络模型从退化的输入图像中学习到退化表示从而恢复出清晰图像。具体来说,通过多类别的对比学习策略,模型能够从三个层面:即非匹配图像级别、像素级别及细节级别进一步提升特征约束表示。此外,网络使用自校准特征提取模块作为模型特征表示的核心,能够有效捕获长距离空间与通道之间的特征依赖关系,从而更好的对退化图像进行恢复。该方法能够在非匹配数据集上进行无监督训练,很大程度上提升了算法的适用性。
背景技术
光学图像是客观现实世界的场景的反映。近年来,随着光学图像传感器技术的不断进步,包含此类传感器的摄像摄影设备在人们的生产生活中得到的了广泛应用。然而,在复杂恶劣的天气条件下,所拍摄获得得到的图像往往会存在明显的质量下降现象,例如图像模糊、颜色失真及细节丢失等问题。上述的退化问题会严重影响人们的视觉观察,并且进一步的损害以清晰图像为输入的计算机视觉系统的性能。为此,研究人员提出了大量的图像恢复算法来解决这类的图像退化问题。传统的光学图像恢复方法有包括直接逆滤波、维纳滤波法及小波变换等,其中,上述的方法大多基于图像的先验知识来构建合适的退化模型,然后采用各种逆退化处理方法来进行图像恢复。但是,这类基于先验知识估计的恢复方法通常受限于参数设置与人工经验,很难有较好的泛化性能。近年来,随着卷积神经网络的不断发展,基于深度学习的图像恢复算法逐渐变成了技术主导。通过设计不同的网络结构,直接表征退化图像与清晰图像之间的非线性的映射关系,从而端到端的恢复清晰的图像,常用的结构包括编解码结构、金字塔结构与多尺度结构等。然而,所设计的网络结构大多数基于有监督的算法,即要求匹配的数据集进行网络训练。通常来讲,现实生活中很难获取到退化和清晰的图像对。缺少真实的数据集用来训练,这将导致了基于深度学习的方法很难获得进一步的性能提升。
针对缺乏复杂天气下真实匹配数据集进行网络训练导致的算法性能不佳的问题,提出了一种应用于复杂天气条件下的无监督图像恢复方法。基于多类型的对比学习策略获得不同级别的网络约束条件,无需匹配成对的数据集进行网络训练,从而实现无监督的图像恢复任务,提升光学图像的视觉质量及后续计算机视觉系统的性能。
实现思路