可控图像生成技术:处理方法、系统、终端与存储介质
2025-02-12 08:31
No.1339151836606898176
技术概要
PDF全文
本技术涉及一种图像处理技术,包括获取图像处理任务条件信号和信息提取模型,构建损失函数,并选择预训练扩散模型进行图像生成。
背景技术
随着媒体技术的不断进步,扩散模型在生成任务中表现出优于现有生成模型的优势,如生成对抗网络(GANs)、变分自编码器(VAEs)和归一化流(Normalizing Flows)。扩散模型凭借其强大的生成能力,推动了其在众多下游任务中的广泛应用研究。在这些应用中,条件生成因其能够在给定条件下进行可控生成,成为了一个备受瞩目的领域。许多条件扩散模型已针对不同的条件进行了优化,包括类别标签、文本提示、退化图像、参考图像、分割图以及风格图像等。 利用扩散模型进行条件生成的方法通常分为基于训练的方法和无需训练的方法。基于训练的策略需要根据给定条件对模型进行再训练。这类方法虽然能带来优异的生成性能,但缺乏灵活性,尤其是在面对新条件时,重新训练或微调模型代价高昂,适应性较差。相比之下,免训练的条件生成方法旨在克服额外训练带来的挑战。这些方法利用现成的损失函数与预训练的(无条件或有条件的)扩散模型结合,以指导采样过程。例如,在2023年Conference on Computer Vision and Pattern Recognition(CVPR)会议上发表的“FreeDoM:Training-Free Energy-Guided Conditional Diffusion Model”,以及2023年International Conference on Machine Learning(ICML)会议上的“Loss-GuidedDiffusion Models for Plug-and-Play Controllable Generation”和“UniversalGuidance for Diffusion Models”等方法,都通过扩散模型的隐式先验和条件损失函数引导条件采样,解决了条件不确定的图像生成问题,无需重新训练模型。然而,这些方法仍存在一致性和可靠性方面的不足,生成的图像可能无法充分符合给定的条件。这是由于它们对条件分数函数的启发式近似(如拉普拉斯近似)可能引入了误差。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
郑紫阳  田佳豪  彭欣宇  薛朵朵  戴文睿  邹君妮  熊红凯
技术所属: 上海交通大学
相关技术
一种基于深度学习的纳米薄膜材料原位显微图像表征方法 一种基于深度学习的纳米薄膜材料原位显微图像表征方法
基于金字塔视觉Transformer的息肉图像分割方法 基于金字塔视觉Transformer的息肉图像分割方法
一种基于加权张量管状核范数部分和的低秩张量恢复方法、设备及存储介质 一种基于加权张量管状核范数部分和的低秩张量恢复方法、设备及存储介质
一种通用可控的基于空间感知的辐射场增强方法 一种通用可控的基于空间感知的辐射场增强方法
一种基于卷积高斯过程的可信少样本图像分类方法 一种基于卷积高斯过程的可信少样本图像分类方法
一种河口滨海湿地多源陆海环境信息集成方法 一种河口滨海湿地多源陆海环境信息集成方法
目标数据的确定方法及装置、存储介质及电子装置 目标数据的确定方法及装置、存储介质及电子装置
人脸静默活体检测方法、装置、可读存储介质及设备 人脸静默活体检测方法、装置、可读存储介质及设备
体征信息识别方法、系统和电子设备 体征信息识别方法、系统和电子设备
基于动态卷积金字塔模块的遥感图像实例分割方法及模型 基于动态卷积金字塔模块的遥感图像实例分割方法及模型
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利