本技术涉及一种结合HDDQN和TCN模型的自动驾驶车辆变道路径规划技术。该技术包括建立自动驾驶车辆变道路径规划模型,并收集历史环境空间状态数据以优化自动驾驶车辆的变道决策。
背景技术
目前,自动驾驶车的换道轨迹规划方法可以分为三类:传统的轨迹规划算法、智能优化算法和基于强化学习的轨迹规划算法。
传统的轨迹规划算法原理简单,并且容易实现,已经在自动驾驶车辆的路径规划领域得到了广泛的应用。常见的有曲线插值法、图搜索方法、基于采样的方法和数值优化算法等。专利(CN202410216710.1)公开了一种基于五次多项式的个性化换道轨迹规划方法,将换道轨迹的个性化程度从“分段式”向“连续式”提升,所提出的个性化换道轨迹规划方法适用于自动驾驶或辅助驾驶的结构化道路换道场景,规划轨迹满足稳定性和防碰撞要求。文献(基于邻域拓展的静态路径规划A*算法研究.郭晓静&杨卓橙.计算机工程与应用,2022,58(8):168-174.DOI:10.3778/j.issn.1002-8331.2010-0222.)为了解决传统的A*算法搜索自由度低,规划出的路径长度长且转角大的问题,提出了一种改进的A*算法,改进算法将传统的8邻域搜索拓展到24邻域,并利用引导向量优化邻域数量,提升搜索效率;采用路径平滑算法消除路径中的冗余节点,优化平滑路径。
传统的轨迹规划算法虽然具有很大优势,但其普遍存在计算量大并且极度依赖环境信息的缺陷,实时性较差。人工智能领域的兴起和快速发展,使得各种仿生的智能优化算法也开始在轨迹规划领域崭露头角,如蚁群算法、遗传算法、神经网络算法以及粒子群算法等。专利(CN202011340491.6)公开了一种基于改进LSTM神经网络的安全性自动驾驶换道轨迹规划方法,采用了考虑安全性的轨迹算法来生成安全轨迹,再用改进LSTM神经网络来对安全性轨迹与原始轨迹进行学习,使决策出的最终换道轨迹在安全性前提下更能贴近人类乘坐体验。
智能优化算法拥有良好的自适应能力,相对于传统规划算法,提升了实时性的能力,但却不能较快收敛,适应复杂环境的能力还有待于提升,无法保证稳定性和最优解,因而基于强化学习算法路径规划研究也逐渐白热化。文献(Trajectory Planning forAutonomous Vehicles Using Hierarchical Reinforcement Learning.K.B.Naveed,Z.Qiao and J.M.Dolan.2021IEEE International Intelligent TransportationSystems Conference(ITSC),Indianapolis,IN,USA,2021,pp.601-606)提出了一种结合比例-积分-导数(PID)控制器的分层强化学习结构用于轨迹规划,结果表明,该框架减少了收敛时间,有助于帮助汽车在更动态中的环境中学习。
专利(CN202310347395.1)一种基于分层深度强化学习的自动驾驶车辆换道方法,分别使用深度强化学习DQN网络与DDPG网络进行换道决策和运动轨迹的规划和训练。目前基于强化学习的方法可以适应不断变化的交通环境,但是稳定性较低,且轨迹规划的准确性还有待进一步提高。
实现思路