本技术涉及计算机视觉领域,特别是一种基于RCP的多尺度融合迭代去雨图像处理方法。该方法针对雨滴条纹的多样性,直接在真实雨景图像上进行去雨处理,并提出了一种金字塔特征提取策略,以提高去雨效果。
背景技术
在拍摄户外场景时,天气因素经常对图像质量产生较大影响。恢复雨带遮挡的图像对于在户外场景中的许多计算机视觉应用至关重要。如果背景中的目标与图像中的雨带产生重叠,那么在去除雨带的同时,很难保持背景细节的完整。尤其是在大雨中,由于能见度严重下降,从而使图像变得模糊、失真,影响了图像特征的提取,并降低了后续目标识别和行为检测的准确率。
目前,在基于深度学习的图像去雨算法中,基于卷积神经网络(CNN)的算法取得了巨大成功。Fu等人提出了第一个基于卷积神经网络的去除雨纹的模型。后来,他们也提出了基于深度残差网络的更深层网络,并利用图像域知识去除雨纹。Yang等人提出了一种循环深度网络,用于联合雨检测和去除,以逐步去除雨点。Li等人提出了一种循环激励上下文聚合网络,以充分利用上下文信息。Deng等人提出了一种细节恢复图像去训练网络,该网络由雨残网络和细节修复网络组成。Jiang等人设计了一种由粗到精的渐进式融合网络,Wang等人提出了一种基于内尺度连接块的跨尺度融合网络。此外,Ren等人通过反复展开一个浅层ResNet,提出了一种渐进式循环网络(PReNet)。Wang等人引入了一种降雨卷积字典网络,该网络不断优化模型以获得更好的雨条和无雨图像。
尽管这些方法带来了很大的性能提升,但它们很难去除所有雨条纹并恢复复杂场景下图像的结构信息。雨纹的密度存在差异,导致雨纹去除过多或不足,导致重建图像的结构信息不完整。现有方法侧重于学习雨条纹的结构,较少关注物体的结构,并且忽略了图像先验的重要性。因此,开发一种既能有效去除雨纹又能保护物体结构的方法至关重要。
实现思路