本技术公开了基于高斯泼溅与深度学习的三维场景重着色优化方法,包括如下步骤:S1、构建给定场景的多视角数据集,生成初始点云;S2、基于所述初始点云,从所有输入像素中提取具有代表性的颜色集合,生成调色板并作为初始设置;S3、利用所述调色板和高斯泼溅算法渲染多视角结果图片,计算损失函数,通过反向传播优化参数,生成优化后的高斯辐射场;S4、基于优化后的高斯辐射场和用户修改的调色板颜色,重新渲染场景并生成重着色结果。本发明结合高斯泼溅算法与深度学习技术,实现三维场景高效重着色优化,具备编辑直观、光照表达精准及渲染真实的优点。
背景技术
在计算机图形学和计算机视觉领域,三维内容的编辑是当前研究中的一个重要方向。随着技术的不断进步,人们对三维场景的外观编辑需求日益增长,如何以一种既高效又精确的方式实现场景外观的编辑成为一个重要的研究课题。在传统的三维场景编辑中,通常通过直接操作几何模型、材质参数和光照模型来调整场景的外观。然而,这些方法不仅操作复杂,而且难以适应现代三维内容快速生成和多样化的需求。因此,探索更加自动化、智能化的三维场景编辑方法成为计算机图形学领域的重要研究方向。
近年来,基于辐射场的三维场景表示方法在相关研究中产生了深远的影响。这类方法通过从多视角图像中重建复杂的三维场景,能够实现具有照片级真实感的新视角合成。其中,神经辐射场(NeRF)及其变体是一种具有代表性的技术,其通过多层感知机(MLP)对场景的几何结构和外观进行编码,为场景生成和渲染提供了强大的表达能力。然而,NeRF在场景外观编辑方面仍面临许多挑战。由于NeRF的场景外观信息编码在多层感知机网络中,外观参数难以直接解码和调整,这使得对场景的局部编辑变得十分复杂且不直观。此外,NeRF对高频光照信息的表达能力较弱,这进一步限制了其在高精度编辑场景中的应用。
相较于NeRF,显式的基于点的辐射场方法提供了一种更具直观性的场景表示方式。其中,3D高斯泼溅算法(3D-GS)通过使用显式的高斯核对场景进行建模,为场景外观的局部编辑提供了可能性。然而,3D-GS仍然面临许多技术难点。首先,3D-GS缺乏精确识别目标高斯核的方法,这导致对特定区域的局部编辑难以实现。其次,3D-GS使用球谐函数(SH)为每个高斯核建模各向异性的颜色,虽然这种方法在理论上能够支持高频光照信息的表达,但在实际操作中,其对高频光照细节的捕捉能力有限。此外,球谐函数的参数调整较为复杂,在实际应用中不够直观,限制了其用户可操作性。
针对上述问题,学术界和工业界提出了多种改进方法,以提升三维场景的外观编辑能力。目前,这些方法主要可以分为两大类:基于3D风格迁移的方法和基于文本驱动编辑的方法。基于3D风格迁移的方法通过从参考风格中提取纹理或光照特征,尝试将这些特征迁移到目标场景中。这种方法在实现整体风格化效果上具有较好的表现,但在实现细粒度控制时显得力不从心。而基于文本驱动编辑的方法试图通过自然语言描述来引导场景编辑,例如利用预训练的文生图扩散模型生成或修改场景的特定区域。这种方法虽然在交互方式上具有一定的创新性,但由于其依赖于大型预训练模型,往往需要大量的GPU内存,这大大增加了实现成本。此外,文本驱动编辑在实现精确控制方面仍然存在困难,例如将场景中的某一对象颜色调整为特定的RGB值,这种需求在实际操作中难以通过纯文本描述实现。
针对上述现有方法的不足,基于调色板的重新着色方法在编辑粒度和易用性之间取得了一定的平衡。通过引入调色板这一中间表示,可以更直观地对场景中的颜色进行调整。然而,现有的调色板方法在实际应用中仍面临“颜色污染”问题,即某个调色板颜色在辐射场中分布过于广泛,当用户对该颜色进行修改时,渲染结果中会出现大范围的颜色变化,这远超用户的预期。此外,现有方法在生成调色板和优化渲染质量方面也存在不足,例如缺乏对调色板颜色精细控制的机制,难以兼顾细粒度编辑和全局效果。
因此,如何提供基于高斯泼溅与深度学习的三维场景重着色优化方法是本领域技术人员亟需解决的问题。
实现思路