本技术公开了一种基于实例特征引导的视频车道线检测方法及系统,方法包括:构建视频车道线检测网络,包括骨干网络、颈部网络、线锚特征交互融合模块;骨干网络和颈部网络组成共享权重的两个多层次特征提取分支网络;获取当前帧图像和参考帧图像,并将两幅图分别送入两个多层次特征提取分支网络中,获取两幅图像的多层级图像特征;初始化分布在图像上的线锚,并将其与两幅图像的多层级图像特征一并送入线锚特征交互融合模块中,从高层级到低层级逐渐细化线锚的位置,以获取车道检测结果;对构建的视频车道线检测网络进行训练优化,获取最佳视频车道线检测网络进行车道检测。在面临困难场景的情况下,本发明能够充分利用视频中所蕴含的时序信息,结合参考帧中的车道线实例特征,作为补充和提示,能够有效地推理出完整的车道线实例,辅助当前帧的检测,提高模型的准确性和鲁棒性。
背景技术
车道线检测是自动驾驶系统和高级驾驶辅助系统中重要的组成部分,车道线检测目的在于帮助车辆识别和跟踪车道线,准确的车道线检测结果,能够帮助车辆实现自动巡航、车道保持,车道偏离预警等功能,保证车辆稳定安全地行驶。
传统的车道线方法依赖于边缘检测、霍夫变换、卡尔曼滤波等方法,然而,这类方法高度依赖于手工设计的特征,难以应对各种复杂场景,如天气变化、低光照和反光、交叉路口、车道线合并或者分岔等挑战。
近年来,随着深度学习技术的快速发展,基于深度学习的车道线检测方法已成为学术界和工业界的研究重点。首先是基于图片的深度学习方法,按照对车道线的建模方式,这些方法可以分为基于分割、基于参数曲线、基于关键点、基于线锚的等方法,如《Real-time lane detection networks for autonomous driving》、《A keypoint-based globalassociation network for lane detection》、《Cross layer refinement network forlane detection》等,相较于传统方法,这些方法更能够应对复杂场景,准确度和鲁棒性都要更好,但是这类基于图片的方法,忽略了车载相机所拍摄视频中所蕴含的时序信息,随着视频目标检测和跟踪技术的发展,一些基于视频的车道线检测方法被提出,如《A newdataset and a baseline model for video instance lane detection》、《RecursiveVideo Lane Detection》、《Enhancing Video Lane Detection with Temporal ContextAggregation》等,这些方法,通过融合历史帧与当前帧的信息,达到了更好的检测效果,但是这类方法所关注的融合粒度在图片级别,而车道线检测任务,与一般的目标检测任务不同的是,车道线形状细长,跨度大,若仅仅只关注于图片级的特征融合,时序信息中的背景噪声可能会降低融合后特征的鲁棒性。
专利公开号为CN118552924A的发明专利,公开一种基于起始点引导的车道线检测方法,针对基于线锚的车道线检测网络,引入起始点检测头更准确的定位车道线,设计了一种利用起点坐标增强层级融合特征的方法。但是该方法忽略了道路视频中的时序信息,面对车道线被遮挡等场景时,因为当前帧缺少足够的语义信息来判断车道线的存在性以及定位车道线,效果较差。
专利公开号为CN118506307A的发明专利,公开了一种基于光流运动预测的实时车道线检测方法,首先聚合多层级特征图,使用光流运动预测算法计算相邻帧之间的光流场,得到特征细化的当前帧特征图,通过混合锚点对车道线进行识别检测。但是该方法中光流场的计算量大,也可能引入时序信息中的一些噪声,导致融合后的特征的表征能力下降。
实现思路