逆渲染技术:融合语义分割与阴影考量
2025-02-15 10:42
No.1340272162657017856
技术概要
PDF全文
本技术揭示了一种融合语义分割与阴影考量的逆渲染方法及装置,应用于计算机视觉与图形学。该技术通过输入多视角三维场景照片,重建场景几何形状,优化视觉效果,提升场景重建的准确性和真实感。
背景技术
利用现实世界所拍摄的二维图像在计算机中重建高保真的三维场景,可应用于虚拟现实、增强现实以及数字孪生等。但是,二维图像对应的是现实场景的某一特定状态,考虑到更为灵活的应用,如可以对场景进行修改,包括重照明、材质编辑等,这就需要获得现实场景的材质和光照等属性,这一工作内容通常被称为逆渲染,它是指从二维图像中恢复三维场景的几何形状、材质属性以及光照环境等物理属性。但是从几何、材质和光照共同合成的结果中正确分解出这些属性具有很大的不确定性,这些属性的不同组合可能会有相同的合成结果。因其复杂性和不适定性,这项工作一直是计算机视觉和图形领域具有挑战性的问题。 早期的逆渲染工作主要致力于本征图像分解,将图像分解为反照率图和亮度图,大致分为基于手工设定先验知识的方式和基于深度学习的方式两类。基于手工设定先验知识的方式多根据经验知识设定阈值分解图像的反照率和亮度;基于深度学习的方式通常需要反照率的标签值进行监督,而真实场景的反照率通常难以获取。当前隐式神经渲染方式在新视图合成、三维重建等方面都取得了较好的效果,它的出现也给逆渲染给这一工作带来了新的解决问题思路,当前的相关研究工作多通过多层感知机(MultilayerPerceptron,简称MLP)学习场景的几何和材质等,并采用基于物理的渲染方程取代神经辐射场(Neural Radiance Fields,简称NeRF)中的体渲染方程来处理这一问题。 然而在逆渲染中,阴影的存在会干扰材质的估计,容易将阴影解释为场景本身的材质属性,当前隐式神经渲染方面的部分相关工作未直接针对这一问题提出解决方案。此外,还有些研究利用先验知识,如利用语义分割网络得到的语义分类结果来直接约束属于同一类别的区域材质相同,此类方式虽然减弱了阴影对材质预测的影响,但是所采用的二维语义分割网络需要大量视角的语义分割的标签值,且泛化能力弱,无法得到三维场景各视角较为准确的语义分割结果。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
李华玮  王嘉诺  陈玉敏
技术所属: 武汉大学
相关技术
一种无线表格检测方法及系统 一种无线表格检测方法及系统
一种闭环检测方法、装置、电子设备和存储介质 一种闭环检测方法、装置、电子设备和存储介质
一种生成感兴趣区域的方法及系统 一种生成感兴趣区域的方法及系统
堆叠物体的物体数量检测方法、装置及系统 堆叠物体的物体数量检测方法、装置及系统
一种适用于水下姿势聚类的方法及装置 一种适用于水下姿势聚类的方法及装置
图像转换方法、装置、计算机设备和存储介质 图像转换方法、装置、计算机设备和存储介质
一种基于光度立体视觉的表面缺陷检测及量化方法 一种基于光度立体视觉的表面缺陷检测及量化方法
人脸识别装置 人脸识别装置
玉米果穗表型分析方法、装置及设备 玉米果穗表型分析方法、装置及设备
焊缝关键点识别方法、装置、设备、介质及程序产品 焊缝关键点识别方法、装置、设备、介质及程序产品
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利