一种图层聚焦插画单视图3D重建方法及系统
2025-02-28 12:22
No.1345008388643495936
技术概要
PDF全文
本技术提供了一种图层聚焦插画单视图3D重建方法,该方法通过SAM对数据集中的原始插画单视图进行区域分割,得到包含原始插画单视图及其图层通道的区域文本对微调CLIP模型;然后对数据集T中的每张原始插画单视图提取非自然的轮廓线,语义信息与图层信息;根据单视图中角色体态选取基础素模初始化3D点云,并通过点云分割将人体点云分割成不同的部分,并依照非自然的轮廓线的位置信息对相应点云区域进行噪声生长与颜色扰动,再分别映射到潜空间当中,并采用LDM获得最终潜在表示;最后将最终潜在表示经过解码器获得最终3D表示,重建3D资产。本发明可根据给定的一张插画单视图,生成相对应的3D资产。
背景技术
近年来在娱乐,遥感和商业领域,AIGC的工作都已经成为热门话题。这一新潮且复杂的技术随着相关社区的建设和硬件产品的发展吸引了越来越多的目光与投资。作为其3D领域的一大方向,3D生成与重建的工作随着大规模模型的开发和3D表示方法的发展,这种复杂的工作变得简单化,甚至个人电脑就能部署模型推理出效果不错的3D资产。以下是几种现有流行的技术: 1.用3D数据(即3D扩散模型)训练一个新的扩散模型,直接按条件生成3D资产并保持强大的3D一致性,对应技术实例有Get3D; 2.直接将2D扩散模型提升应用到3D生成,能够处理各种文本提示,并产生高度详细和复杂的几何和外观,对应技术实例有Dreamface; 3.按照新视图生成思路获取足够多的多视图,应用稀疏视图重建方法或得分蒸馏采样(SDS)优化,将这些多视图图像融合成3D形状,可以产生高质量的3D形状创建,对应技术实例有Instant3d/Dreamfusion。 虽然这几种技术都开发有亮眼的模型,生成的3D资产也确实十分优秀,但是在广泛的实验以及应用中这几种技术仍然有些缺陷需要解决。 首先对于第一种技术方法,在扩展到大的生成领域时存在困难,因为3D数据通常难以获得且成本高昂,当前3D数据集的规模远远小于2D数据集,这导致生成的3D资产在处理复杂文本提示和生成复杂/精细的几何和外观方面存在不足。 然后对于第二种技术方法,由于2D扩散模型无法理解摄像机视图,生成的3D资产很难形成几何一致性,常常出现生成的3D资产错位的问题,特别是对于结构复杂的实例。 最后对于第三种技术方法,在多视图图像间接生成的过程造成了很大的低效率问题,此外,生成的形状质量严重依赖于多视图图像的保真度和连续性,常常导致细节丢失或重建失败。 而且上述技术多在有关自然图片的问题上考虑应用并优化,对于将2D插画图片进行3D生成的优化工作仍有缺陷。其中,2D插画3D重建问题主要包括复杂且极端的配色和基于非自然线条的黑色轮廓,但当前的研究存在色块堆砌、计算量大、光照图层不理解、特定配饰信息检索不充分等问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
欧阳建权  李柳阳  唐欢容
技术所属: 湘潭大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利