本技术涉及图像处理技术领域,提出了一种基于动态自适应和强化特征的多目标跟踪分割方法及系统,方法包括前处理步骤、外观代价计算步骤、预匹配步骤、运动代价计算步骤、正式匹配步骤、后处理步骤、重复步骤和可视化步骤。该方法通过具有动态自适应的数据关联对目标特征进行细化整合,以及利用基于掩码的注意力机制和基于四三角形变的掩码预测分别强化目标外观特征和运动信息,以能够在保持高跟踪精度的同时,实现快速运算和低成本运行,适用于更广泛的应用场景。
背景技术
多目标跟踪与分割是指在视频或图像序列中同时识别、追踪和区分多个移动目标的方法。它是一种系统性的方法,这项方法通过综合应用目标检测、特征提取、数据关联和实例分割等关键步骤,旨在面对遮挡、相似目标、快速移动和视角变化等复杂场景,在像素级下评估多个移动目标之间的关系。目前流行的多目标跟踪与分割系统,在使用过程中依靠深度学习技术为数据关联提供鲁棒的关联信息,例如,单独训练一个的实例分割模型来获取高质量的实例分割掩码、依赖深度学习模型进行状态估计、训练一个深度学习模型在图域上进行关联跟踪等。同时,在资源受限或对实时性要求极高的环境中,深度学习模型的高计算需求可能导致其难以满足高效运行的需求。此外,深度学习模型的训练和部署成本相对较高,且模型的复杂性可能影响到系统的可扩展性和维护性。同时,当前多目标跟踪与分割方法对于视频下目标特征的利用仍然是粗糙的。同时,现有的多目标跟踪技术在处理动态环境、大规模目标场景或极端光照条件下的性能不足。此外,算法的泛化能力、鲁棒性和可扩展性也是当前研究中需要进一步解决的问题。公开号为CN116452631A的中国发明申请公开了一种多目标跟踪方法,使用先逐帧检测分割再数据关联的策略,利用传统的表观与运动信息来进行匹配,并整合预匹配信息和选择加权的快速关联算法,然而这种方法在融合权重时是固定的,无法动态的适应视频环境,同时运动和外观线索的鲁棒性有限。
实现思路