本项创新技术提出了一种基于空间感知的辐射场增强方法,具备通用性和可控性。该方法涵盖三个关键步骤:首先,收集必要的训练数据;其次,依据这些数据生成光线和采样点;最后,构建一个混合神经辐射场模型,以实现辐射场的有效增强。
背景技术
本部分提供的仅仅是与本公开相关的背景信息,其并不必然是现有技术。
随着元宇宙、虚拟现实以及数字孪生等概念的出现,人们对复杂场景进行数字化重建,产生逼真且高质量的画面的需求日益增强。如何由图像中渲染出更加逼真的虚拟场景是当前计算机图形学和计算机视觉领域着重研究的课题。其中新视角合成是其中重点关注的任务。通过有限视角的二维视图重建出一个连续的三维场景,精准还原出场景的几何结构、表面纹理、光照等信息,以便生成逼真的新视角,对于增强现实、虚拟现实、视频游戏等应用领域具有重要的意义。
传统基于图像渲染合成的场景表达方式,需要物体的几何形状和属性作为先验,且计算量大,渲染效率低。随着深度学习驱动的图像渲染技术迅速发展,神经辐射场(Neural Radiance Fields,NeRF)开创性得用神经网络表示场景,使其具备了得到照片级真实感的新视图合成能力。
NeRF最初是Mildenhall等人在2020年ECCV会议中提出,该方法将三维场景表示为用多层感知机(Multi-Layer Perception,MLP)近似的辐射场,描述了场景中在特定观察方向下每个采样点的颜色与体积密度,通过体渲染的方法来合成新视角下的图片。
此前,有许多针对NeRF速度慢、渲染的图片有锯齿现象、采样效率等问题提出了改进方案,但都是基于空间点相互独立和光线之间相互独立的基本假设,存在着空间依赖关系建模不足的问题
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
实现思路