本技术提供了一种基于摄像头特征提取的行车预警方法及相关设备,其中,该方法包括:对获取的多模态视频数据进行分帧处理,随后通过深度残差网络对分帧后的图像进行特征提取,得到各自的初始特征。接着,通过特征交互和特征移位技术,对RGB图像、红外图像和深度图像对应的初始特征进行优化处理,得到优化后的特征。最终,将优化后的特征输入预设的行人意图识别模型中,模型根据输入的特征识别出摄像头数据中目标行人的意图类型。根据识别出的意图类型及车载终端的当前行驶策略。本方法通过综合利用多模态数据,提高了行车预警的准确性和实时性,尤其是在夜间或复杂环境下的适应性,有效提升了道路行驶的安全性。
背景技术
在现代交通系统中,确保行车安全成为了一个重要课题,尤其是在复杂多变的道路环境和不可预测的行人行为面前。随着智能交通系统和自动驾驶技术的快速发展,利用车载智能摄像头进行行车预警已成为提高道路安全性的有效途径。然而,尽管现有的技术能够通过摄像头捕捉到行人的行为,并进行一定程度的行为识别,但在准确性、实时性和多环境适应性方面仍存在一定的局限。
传统的行车预警方法主要依赖于基础摄像头捕捉的RGB视频数据,通过分析视频图像中的行人行为来预警潜在的危险。然而,仅依赖RGB数据在光照变化大、视线受阻或夜间环境下的效果并不理想。
实现思路