本技术涉及图像处理领域,通过数码相机捕获浮雕图像,并运用摄影测量技术生成包含3D坐标与RGB值的密集点云,进而构建包含几何与色彩信息的三维模型。
背景技术
浮雕是雕塑与绘画结合的产物,通常附属在一个平面上,只供一面或者两面观看。一般按照其中雕刻的图案和花纹凸出底面的高矮,分为浅浮雕和高浮雕。其中浅浮雕在建筑和器物上比较常见。例如,一些浅浮雕类的文化遗产常见于历史遗址中,但由于自然或人为因素,这些珍贵的文化遗产经常遭受不同程度的损坏和流失。传统的修复过程通常需要大量的手动干预和专业的考古知识。尽管扫描和摄影测量技术可以永久保存当前状态下的浮雕三维数字模型,但它们无法还原这些浮雕受损前的原貌。因此,利用历史照片中包含的浮雕信息,通过单目深度估计技术进行三维重建,成为一个有效的解决方案。然而,由于浮雕的几何结构复杂,深度值压缩,边缘区域难以准确提取细微的深度变化,从而影响了深度估计的精确度。综上所述,现有技术或需要单目图像以外的多维先验信息,或无法从单目图像中复原出足够的细节。
Pan等人提出了一种基于单目深度估计网络的三维重建方法,(J.Pan,L.Li,H.Yamaguchi,K.Hasegawa,F.I.Thufail,Brahmantara,and S.Tanaka.2020.Fused 3dTransparent Visualization for Large-Scale Cultural Heritage Using DeepLearning-Based Monocular Reconstruction.In ISPRS Annals ofthe Photogrammetry,Remote Sensing and Spatial Information Sciences,Vol.V-2-2020.989–996.https://doi.org/10/gs6hng.)重建了婆罗浮屠寺庙中埋藏的浮雕。在重建过程中,基于浮雕的三维点云数据进行特征提取,并投影成作为先验知识的边缘二值化图像,并将其作为辅助信息输入单目深度估计网络的末端,对解码过程进行干预,生成了带有部分细节的浅浮雕深度图。通过结合灰度图与深度图,并进行坐标转换实现了浅浮雕的三维重建。该技术存在以下缺点:
(1)边缘图从3D点中提取并用作附加输入,这显着降低了他们提出的模型在测试数据上的准确性。这种精度下降是因为在测试阶段,来自旧照片的3D点不可用,因此没有有效的方法来获得准确的边缘图。
(2)在解码阶段的后期部分将软边缘图合并到网络中,这限制了它对深度估计任务的辅助能力。
(3)他们将软边缘图表示为二值图像,将边缘区域和非边缘区域区分为进一步处理的掩码。然而,二进制表示无法传达软边缘固有的3D曲率变化,这可以为深度估计任务提供有效的线索。
实现思路