本技术提供一种变换数据维度和投影方向的聚焦形貌恢复方法,在数据维度变换的基础上,通过改变不同的投影方向可以获取更多有用的信息;首先将图像窗口的二维矩阵变换成三维空间的点云格式,然后向四周进行投影,可以得到新的不同的矩阵信息,通过计算投影的面积和投影中每行的波动程度,并加权求和作为最终的焦点值,确定最终的深度图。
背景技术
从二维图像重建三维形状是计算机视觉的基本任务之一,其中聚焦形貌恢复方法(Shape from focus,SFF)是一种被动的单目光学技术,从多焦点图像序列中重构出物体的三维形貌,这些图像序列通过改变光学系统的焦距、像距或者物距被捕获,将图像聚焦水平作为形状重建的线索,重建的深度图中的每个点与图像序列中的聚焦位置一一对应。SFF与主动技术和多摄像机系统相比,主要优点是不需要场景和捕捉设备之间的物理交互,尺寸紧凑、成本低、更容易实现,只需要一个相机和平移台就可以完成最基本的操作。与离焦形貌恢复方法(Shape from defocus,SFD)技术相比,重构的结果更可靠。因此,SFF技术在显微镜、智能制造、医学等领域有许多应用。
SFF技术的主要流程由图像采集、焦点度量和深度重建三个步骤组成。在第一步中,通过沿光轴方向移动物体,捕获多焦点图像序列,之后使用焦点度量(FocusMeasurement,FM)算子估计图像序列中每个像素点的清晰度或者锐度水平,度量结果与图像序列有相同的大小,被称为焦点体积(Focus Volume,FV)。之后沿光轴最大化焦点度量值,从FV中得到初始深度图。为了获取精度更高的深度图,需要细化FV或者对初始深度图进行优化,优化过程也被称为SFF的后处理技术。尽管后处理技术可以提高重构结果的精度,但是,若FV或深度图中的错误数据较多,会存在错误传播的问题,优化的效果有限。因此获取准确的焦点值是SFF形貌恢复的基础,是重中之重,这也一直是目前研究的热点。
在SFF技术中,常用的FM算子在空域和变换域中计算焦点度量。空域中,通过寻找图像的结构边缘作为焦点度量,通过对图像求一阶导数和二阶导数,获取边缘信息,二阶导数虽然可以获取更丰富的信息,但也对噪声敏感。基于统计学最著名的FM算子是计算窗口中的方差,区域内包含较多的纹理时,有较大的方差。在变换域中,常使用小波变换、离散余弦变换去寻找图像的高频成分,因为细节信息常包含在高频成分中。这些算子在物体表面存在丰富纹理的情况下,可以产生很好的重构效果,但在真实场景中容易受到噪声的影响,并且在识别弱纹理区域时的性能较差。近几年提出了许多新的FM方法,Jang etal.提出了使用自适应窗口的方法,首先使用GLV方法计算得到的全焦点图像,根据全焦点图像的纹理信息确定每个位置窗口的大小,可以有效的提升运行速度,处理结果也更加可靠,但是可靠性依赖于全焦点图像。Lee等人提出了一种基于空间变换的FM方法,将图像从笛卡尔空间变换到对数极坐标空间,在对数极坐标变换中,通常认为这个过程是低通滤波的一种形式,这个平均过程有效地提高了噪声容限,当图像中存在噪声时,这种空间变换可以计算出更好的焦点值,但这种空间变换受到坐标极点的影响,并且焦点值根据极点的位置而不同。Hae-Gon Jeon对处理窗口形状进行了优化,提出了一种环形差分滤波器,相比与传统的窗口可以得到更准确的度量结果。也有学者提出使用多个FM算子,对计算得到的FV使用遗传编程或者寻找最大共识,得到最佳的焦点位置,使用多个FM算子会提出处理精度,但也会增加运算时间,精度提升有限。不论是使用自适应的窗口和变形的窗口,还是使用多个FM算子,虽然可以在一定程度上提高焦点度量的准确性,但是在FV中仍会产生大量的噪声,体现在深度图中就是在结构边缘、高度突变处存在大量错误的深度估计,在平滑区域有轻微的深度波动。综上所述,由于FM算子固有的局限性,对于不同的物体,使用单一的FM方法得到准确的焦点值具有难度。
综上所述,FM算子的改进多在进行数据变换,和使用更多的方法来获取更准确的计算结果,这会大幅度增加运算时间,并且大部分使用的是单一的数据,没有对数据进行扩展和丰富。
实现思路