基于开放词汇分割的图像全景分割模型的训练方法和装置
2025-02-25 11:32
No.1343908633397960704
技术概要
PDF全文
本技术涉及一种基于开放词汇分割的图像全景分割模型的训练方法和装置,获取训练样本集及预设的点网格;训练样本集中包括至少一个图像、所述至少一个图像中每个图像对应的像素级的类别标签;基于预设的点网格、至少一个图像和每个图像对应的像素级的类别标签,确定预设的点网格中每个点对应的查询嵌入向量;基于至少一个图像以及每个点对应的查询嵌入向量,结合预训练好的特征提取及掩码生成模型,生成每个点对应的预测掩码区域向量;基于至少一个图像以及每个点对应的预测掩码区域向量,结合预设的余弦相似度损失函数,更新多尺度特征适配器的参数。无须耗费大量的人工注释成本,也能完成图像全景分割并提高图像分割的分割性能。
背景技术
为了克服封闭词汇分割的限制,人们提出了开放词汇分割。开放词汇分割使用自然语言表示的类别名字的文本嵌入作为标签嵌入,而不是从训练数据集中学习它们。通过这样做,模型可以对更宽泛的词汇进行分类,从而提高处理更广泛类别的能力。为了确保提供有意义的嵌入,通常使用预训练的文本编码器。这个编码器可以有效地捕捉单词和短语的语义含义,这对于开放词汇分割非常关键。多模态模型,例如(Contrastive language-image Pre-Training,CLIP)已经展现出在开放词汇分割方面的潜力,因为它们能够从大规模互联网数据中学习对齐的图像文本特征表示。 目前通常依赖于图像-掩模-文本三元组进行基于开放词汇分割的图像语义分割,但这种方法需要耗费大量的人工精力对掩模和文本之间的对应关系进行标注,会导致昂贵的注释成本。 尽管现有技术中已经提出了一些弱监督方法,例如通过文本监督来降低注释成本,但监督的不完整性严重限制了通用性和性能。其中,文本监督只利用图像和文本对进行语义分割,在捕获复杂的空间细节方面存在不足,这对于密集预测来说不是最佳的。此外,文本监督这种类型的监督缺乏位置信息,使得模型难以区分具有相同语义类的不同实例。这些问题严重限制了现有弱监督方法的多功能性和分割性能。 因此,现有技术中在基于开放词汇分割的图像分割过程中,需要昂贵的注释成本,同时限制了图像分割的多功能性和分割性能。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王兆卿陈紫业贺潇郭彦东
技术所属: 智平方(深圳)科技有限公司 智平方具身科技(深圳)有限公司.
相关技术
一种多维数据分析的智慧农村监测系统 一种多维数据分析的智慧农村监测系统
基于人工智能的护工行为识别与干预系统 基于人工智能的护工行为识别与干预系统
图像轮廓保留的高斯模糊方法以及相关装置 图像轮廓保留的高斯模糊方法以及相关装置
基于SwinUnet的改进3D医学图像分割方法 基于SwinUnet的改进3D医学图像分割方法
全局主成分引导下的端到端锚点多视图图像聚类方法 全局主成分引导下的端到端锚点多视图图像聚类方法
基于视图交互聚合的矢量地图构建方法和系统 基于视图交互聚合的矢量地图构建方法和系统
一种基于部件的手写汉字评价方法 一种基于部件的手写汉字评价方法
一种联合级联3DCNN与SDTA编码的高光谱影像矿区树种分类方法 一种联合级联3DCNN与SDTA编码的高光谱影像矿区树种分类方法
隐式锚点引导下的快速多视图图像聚类方法 隐式锚点引导下的快速多视图图像聚类方法
一种基于图像处理的船舶吃水线检测方法 一种基于图像处理的船舶吃水线检测方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利