一种基于双流特征融合的三维点云开放场景理解方法
2025-02-28 08:29
No.1344949589882707968
技术概要
PDF全文
本技术公开了一种基于双流特征融合的三维点云开放场景理解方法,属于多模态学习领域,包括数据准备,收集三维点云数据V,进行数据标注得到三维点云开放场景理解数据集A,将获得的三维点云开放场景理解数据集A进行数据集划分;构建三维点云开放场景监督信息,构建前景兴趣区和构建开放语义信息,融合双流特征信息;设计包含一个三维点云特征提取器E、预训练的文本特征提取器θ<subgt;text</subgt;与多模态判别器D的模型M;训练模型M得到模型M<supgt;*</supgt;;在模型M<supgt;*</supgt;上进行测试;本发明采用上述一种基于双流特征融合的三维点云开放场景理解方法,实现了在开集上的三维点云场景理解,显著提高了开集语义分割等任务的精度。
背景技术
三维点云相关的视觉任务存在着激光雷达设备采集数据成本高,大规模数据人工标注成本高,三维点云相关技术发展起步晚等特点,在计算机视觉领域的发展落后于二维图像领域。 而二维图像领域由于数据获取与标注成本低、发展历史久,近几年已经取得了快速的发展,近些年更是产生了一系列基于文本与图像数据对的多模态模型,通过文本与图像对的对齐与训练,实现了在二维图像领域的开放场景理解的相关任务,如开放词汇的图像分类、分割、目标检测等任务。 然而二维图像领域开放场景理解的成功建立在大量的文本与图像对的训练数据基础上,三维点云领域缺乏且难以获得如此大规模的数据,如何基于无标注三维点云数据,将开放场景理解的能力从二维图像领域迁移到三维点云领域成为了亟需解决的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
许春燕  翁铭澳  张艳  张晓雅  崔振
技术所属: 南京理工大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利