本技术实施例提供了一种视觉3D目标检测算法在线评估方法和系统,其中,所述方法包括:获取视觉3D目标检测算法的样本数据集,样本数据集包含频率大于2赫兹且携带标注信息的原始样本图像;将样本数据集的第一原始样本图像输入视觉3D目标检测算法输出检测结果;将检测结果与样本数据集中当前时刻的第二原始样本图像的标注信息进行指标评估。本发明实施例的原始样本图像的频率高于数据集nuScenes中样本数据的频率,提高了视觉3D目标检测算法的样本频率。在视觉3D目标检测算法的运行时间稳定的情况下,提高样本频率,相当于降低目标对象在两个样本图像之间的位移偏差,视觉3D目标检测算法的指标评估更符合实时性的要求。
背景技术
近年来,以视觉为中心的感知算法在各种自主驾驶任务中蓬勃发展,包括3维(3Dimensional,简称3D)检测、语义地图构建、运动预测和深度估计。然而,以视觉为中心的感知算法的延迟对于实际部署来说太高了(例如,大多数基于相机的3D检测器的运行时间大于300ms)。为了弥合理想研究和现实世界应用之间的差距,有必要对性能和效率之间的权衡进行量化。
但是,现有的基于相机的3D检测算法性能评估方案主要在开源的数据集nuScenes上进行评估。而数据集nuScenes只标注了2赫兹的样本数据,2赫兹的样本数据无法满足实时性评估。
实现思路