本技术介绍了一种DDPG算法支撑的去中心化自适应计算卸载技术,专为卡车车队系统设计。该技术由actor和critic网络构成,各含一个在线主网和一个目标网络。启动时,初始化网络参数,使DDPG与环境交互,并将生成的轨迹元组存储于经验回放池。在训练阶段,从池中随机抽取N个轨迹元组的小批量样本,用于DDPG网络参数更新。critic主网络通过随机梯度下降法更新参数,而actor主网络依据critic主网络提供的梯度更新参数。该技术能有效减少卡车车队系统的平均能耗和任务计算时延。
背景技术
随着智能汽车和车联网的发展,出现了各种延迟敏感和计算密集型应用,如自动驾驶、增强现实、自动导航和在线游戏等,这对车载资源构成挑战。幸运的是,得益于5G通信技术,车辆边缘计算(VEC)可以通过基于IEEE 802.11p的车对RSU(V2R)或车对车(V2V)通信将部分或全部计算任务卸载到物理上近端的RSU/BS或其他车辆,为车辆用户提供更加高效的计算和通信服务,从而解决车载资源不足的问题,该计算范式在城市交通场景中得到了广泛的应用。然而,在高速公路场景中,传统的VEC模式面临着一些挑战:
(1)沿高速公路部署RSU/BS是一笔不可忽视的费用,RSU/BS在高速公路上的覆盖区域比城市道路更广泛,如果卸载任务仅在RSU/BS的边缘计算(EC)服务器上处理,则总计算延迟将超过可容忍的阈值。
(2)高速公路大部分建在偏远地区,RSU/BS的部署相对稀疏,无法满足高速公路上车辆的计算卸载需求。
(3)车辆在高速公路上快速行驶,车辆网络具有高度动态的拓扑结构,车辆与RSU/BS之间频繁切换位置通常会导致无线通信链路断开连接,从而减少车辆的有效通信时间和体验质量(QoE)。
为了应对上述挑战,车辆队列驾驶是一种有效的解决方案。作为列队技术最重要的应用场景之一,卡车编队可以降低能耗,提高物流效率和行车安全性。目前,卡车编队的研究主要集中在列队控制和协调上,对卡车编队系统中计算卸载方案的研究较少。
实现思路