本技术介绍了一种结合时空超分辨率和神经辐射场的三维场景渲染方法,旨在提升三维场景重建的效果。该方法涵盖了将多视图图像输入神经辐射场以生成目标帧的低分辨率图像,并进一步通过时空超分辨率技术增强图像质量的步骤。
背景技术
新视角合成任务(Novel View Synthesis)指的是给定源图像(Source Image)及源姿态(Source Pose),以及目标姿态(Target Pose),渲染生成目标姿态对应的的图片(Target Image)。新视角合成在3D重建、AR/VR等领域有着广泛的应用。随着用户越来越寻求逼真和身临其境的体验,最终用户强烈要求高效和高质量的方法来合成新颖的视图。在各种代表性方法中,神经辐射场(NeRF)因其生成高保真图像的能力而受到广泛关注。然而,随着对逼真和高质量视觉体验需求的增加,在神经辐射场(NeRF)渲染中实现实时性能的挑战依然存在。平衡质量和性能之间的权衡越来越具有挑战性,因为提高一个往往以牺牲另一个为代价。此外,NeRF的计算需求导致渲染时间长,无法进行实时渲染。因此,本发明提供了一种基于时空超分辨率和神经辐射场的三维场景渲染方法。
实现思路