本技术公开了一种基于基础模型的点云图像融合的3D目标检测方法,应用于自动驾驶技术领域,包括:将多视角图像输入至基础模型中,得到图像深度图;将图像深度图和雷达点云输入至语义投影模型中,得到雷达深度图;将图像深度图和雷达深度图输入至滤波模块中,得到增强后的雷达点云;分别获取多视角图像和增强后的雷达点云对应的多尺度图像BEV特征和多尺度雷达BEV特征,并输入至多尺度特征融合模块中,得到多尺度的融合特征;将融合特征输入至检测头中,得到检测结果。本发明利用基础模型实现了稀疏雷达点云致密化,并且利用多尺度特征融合模块实现了彻底融合多尺度和多模态的BEV特征,提高了目标检测的准确性和鲁棒性。
背景技术
近年来,3D(三维)目标检测在自动驾驶领域受到了极大的关注,它旨在检测 3D场景中对象的位置、大小和类别。基于单一传感器,如基于相机的3D目标检测方法容易受到环境的影响,导致性能受限。因此单一的检测方式具有局限性。因此,后面又出现了多传感器融合的3D目标检测方法,通常采用相机和雷达技术相结合,但由于雷达技术采集的雷达点具有稀疏性,因此多传感器融合的3D目标检测方法在检测鲁棒性和准确性方面仍然存在不足。
因此,如何提高点云图像融合的3D目标检测方法的准确性和鲁棒性是当前亟需解决的问题。
实现思路