为了解决现有技术的不足,本技术公开了一种基于双层参数化深度强化学习的混合交通流协同控制方法。该方法通过卷积神经网络从交叉口环境中提取交通高维空间特征,并结合多通道参数化深度Q网络算法构建第一层模型CNN‑MPDQN,其主要任务是选择一条通行优先车道并确定通行持续时间。接着,在第一层算法的基础上,采用第二层DQN算法优化协调车道上车辆的通行顺序,解决车辆轨迹冲突问题。通过两层深度强化学习算法模型的不断循环训练与迭代,逐步优化模型参数,最终获得最优收敛模型;该模型能够有效应对各种交通状况和车辆行为,提升交叉口的通行效率和安全性,特别适用于无信号控制的混合流交叉口。
背景技术
随着城市化进程的加快,交通拥堵已成为许多城市面临的重要问题,尤其是交叉口等关键交通节点的通行效率,直接影响整个交通网络的流畅性和安全性。近年来,自动驾驶技术迅速发展,网联自动驾驶车辆(CAV)逐渐应用于交通系统,给传统交通控制方法带来了新的挑战。在这种背景下,混合流交叉口,特别是无信号控制的交叉口,如何协调CAV与人类驾驶车辆(HV)的通行,已成为交通系统优化中的关键问题。
传统的交通信号灯控制方法通常基于固定周期的信号切换或基于交通流量的预设规则,来调整交叉口的通行优先级。这些方法适用于固定的交通模式,但在面对混合流量(CAV与HV同时存在)时,传统方法缺乏灵活性和智能性,无法根据实时交通状态做出最优决策,导致交通流量的不均衡和通行效率低。
近年来,深度强化学习(Deep Reinforcement Learning, DRL)作为一种新兴的人工智能技术,已在多个领域取得了显著的成功,尤其是在交通控制、自动驾驶等领域。DRL通过不断从环境中获取反馈,学习如何通过智能决策最大化某种目标(例如交通流量或安全性)。然而,尽管DRL在交通控制中取得了一定进展,但现有研究仍存在局限性:(1)对于混合流交叉口,现有的DRL方法往往没有充分考虑两者之间的协同作用,导致CAV与HV之间的相互干扰和不协调,降低了交叉口的通行效率;(2)现有的DRL方法通常针对单一任务进行优化,如车辆通行的顺序,难以综合考虑多个层次的决策。在实际交通场景中,不仅需要决定车道的优先级,还需要考虑协调与冲突车道的动态调整,并同时对通行持续时间进行优化,这些因素需要一个多层次的强化学习机制来协调。(3)交通交叉口通常具有高度复杂的环境特征(如车流密度、交通状态、车速等),这些特征是影响交通效率和安全性的关键因素。然而,现有的强化学习算法在面对这些高维度、复杂的交通特征时,通常缺乏有效的特征提取能力,导致决策效果不理想。
实现思路