本技术涉及一种立体图像质量评估方法,该方法融合了双频交互增强和双目匹配技术。该技术领域为立体图像质量评估。具体步骤包括将立体图像的左右视图分割成不重叠的图像块,并通过双频交互增强和双目匹配技术进行处理,以实现立体图像质量的准确评估。
背景技术
随着人们生活娱乐方式的日益丰富,人们不再满足于平面的图像体验,而是追求更具沉浸感和真实感的立体图像。相比平面(2D)图像,立体图像(3D)能够在展示图像内容的同时使观看者感受到立体感,创造出身临其境的氛围,因此被广泛应用于3D电影、3D游戏、虚拟现实等多个领域中。然而,在立体图像的采集、压缩和传输过程中,图像会因为某些不可避免的因素导致失真,从而影响观者的视觉体验。因此,构建一个与人类评价准则保持高度一致性的立体图像质量感知模型显得尤为重要。此外,立体图像质量评价(Stereoscopic Image Quality Assessment,SIQA)也可以作为图像处理系统中的一环,为立体图像超分、分割等领域提供优化指导。
通常来说,IQA方法可以分为两类,分别为主观IQA方法与客观IQA方法。主观IQA方法是,在一定的实验环境下,由人类观察者基于其主观感受并根据图像的各项指标对图像的质量进行评价打分。由于图像的最终接收者为人,所以基于人类观察者给出意见分数的主观评价方法能够更为真实可靠的图像的质量,且该方法技术门槛较低,被认为是最有效的方式。虽然主观评价方法对图像质量的评价最为精准,但是其存在较多缺点。在实际中,主观评价方法的结果很容易受到测试者心理状态、认知水平、所处环境等因素的影响,因此在实际生活中主观评价应用场景很小。而客观图像质量评价方法则是通过模拟人类视觉系统(Human Visual System,HVS),建立评价模型来评价图像的质量,能够很好地解决主观评价的局限性,更符合实际需要。客观评价方法又根据参考图像的参与程度分为全参考(FullReference,FR)、半参考(Reduced Reference,RR)和无参考(No Reference,NR)。由于许多应用场景无法获得理想参考图像,所以不需要理想参考图像的无参考图像质量客观评价方法应用更为广泛。
目前,在SIQA领域,研究者们的工作大多集中在是NR类型的立体图像质量评价方法的研究上,并提出了众多的NR-SIQA方法。早期的FR-SIQA方法基于经典的FR-2DIQA方法改进而来。例如峰值信噪比(Peak Signal to Noise Ratio,PSNR)与结构相似性指数(Structural Similarity Index,SSIM)。然而这类方法不能反映人类视觉感知特性,也没有考虑双目视差的影响,不能直接应用到立体图像质量评价中。此外,还有一些基于人类视觉系统(HVS)或自然场景统计(NSS)对图像提取特征的传统人工提取特征的NR-SIQA方法。这类方法设计门槛较高,需要设计者有较高水平,丰富的经验而且泛化能力较差,难以适应失真变化多样的实际情况。
近年来,在深度学习技术的推动下,涌现出许多基于卷积神经网络(ConvolutionNeural Network,CNN)的立体图像双目视觉模型,进一步推动了NR-SIQA的发展。然而现有的基于CNN的SIQA方法,并未重视图像的空间频率对于人类感知图像质量的影响。大多数方法,没有考虑到高低频信息的相互影响以及高低频对于图像质量感知的贡献不同。根据生物学知识以及人类视觉心理学知识,人类视觉系统在处理同一幅图像的高、低空间频率信息方面表现不同。事实上,从整个频率范围提取特征可能会遇到空间域中信息分布不均匀的问题。事实上,视觉信息处理首先基于低空间频率信息提取视觉场景的总体轮廓特征,然后使用这些信息促进高频信息对应的细节纹理特征提取。另一方面,强边缘往往会吸引更多的注意力,并能增强对周围光滑区域的感知。这些机制表明了高频和低频信息之间复杂的相互作用。
此外,由于SIQA的评价对象是立体图像,通常需要考虑双目视觉特征。然而大多数方法仅仅是简单拼接左右特征后进行质量回归,但左右视图并无交互与融合过程。一些方法虽然使用左右视图特征的差分与求和或孪生网络等手段实现了左右视图的交互,但是显然并不能较好地模拟人类视觉系统的双目交互融合这样一个相对复杂的过程。据生物学知识以及人类视觉心理学知识,在人类视觉系统通常先融合左右视图中相互匹配的特征,然后采用竞争机制对不匹配的特征进行选择与抑制。左右视图之间的匹配特征是稳定双眼感知的关键因素。双目特征的对齐可以促进双眼信息的整合,形成统一连贯的视觉感知。通过模拟这一过程,能够有效的提取稳定准确的双目视觉特征。
基于上述内容,本发明提出了一种基于双频交互增强与双目匹配的立体图像质量评价方法。
实现思路