本技术旨在优化数字孪生云边网络中的服务缓存与计算卸载，构建了虚拟数字孪生云边网络模型DTCEN，并采用凸优化技术结合深度强化学习，实现了服务缓存与计算卸载的高效联合优化。
背景技术
随着5G通信技术的发展与移动设备的普及，网络流量呈现出爆发式增长。同时，各类新兴智能应用不断涌现，如虚拟/增强现实(Virtual Reality/AugmentedReality，VR/AR)、目标检测和自动驾驶等，其通常具有计算密集与延迟敏感特性。云计算通过在远程数据中心部署服务器集群以应对用户不断增长的服务需求，但远距离通信与智能应用的实时性需求存在矛盾。为了缓解该问题，欧洲电信标准协会(European TelecommunicationsStandards Institute，ETSI)引入了一种新型的分布式计算范式：移动边缘计算(MobileEdge Computing，MEC)。通过在网络边缘部署计算资源，用户可将其智能应用的任务卸载至MEC服务器执行，以避免与远程云交互所产生的过度通信延迟。此外，任务的处理需要依赖相应的输入数据与特定的服务程序，因此有效利用缓存技术对服务进行提前缓存可进一步提升服务质量(Quality-of-Service，QoS)。
边缘缓存技术主要可分为两类：内容缓存与服务缓存。具体而言，内容缓存将任务的输出结果缓存在MEC服务器或用户设备中，以节省任务的处理延迟；服务缓存将任务处理所需的服务程序缓存在MEC服务器或用户设备中，以节省任务的传输延迟。通常，不同任务的输出结果存在较大差异，导致内容缓存命中率低下。相比之下，预先缓存的服务程序可被重用，如人脸识别。但是，MEC服务器存储容量有限，如何合理缓存服务程序以更好满足用户需求是一个挑战性难题。同时，MEC服务器独立缓存可能会导致边缘资源利用率不高，如何协调不同MEC服务器进行协作缓存是一个值得深入研究的问题。此外，MEC服务器计算资源有限，如何高效分配计算资源是一个亟待解决的重要问题。
现有解决方法主要采用控制理论或优化理论解决服务缓存与计算卸载问题。控制理论引入数学模型或动态方程，通常需要固定用户需求或将MEC系统静态化，忽略了系统的复杂性与任务的动态性，可能导致其策略无法适用于现实场景。优化理论通过多轮迭代以逼近可行解，可能会导致较高的时间复杂度，在面对大规模服务缓存与计算卸载问题时通常难以高效做出最优决策。作为机器学习领域的一个新兴分支，深度强化学习(DeepReinforcement Learning，DRL)已被逐步应用于边缘场景下的服务缓存与计算卸载问题。基于值的DRL方法在面对较小动作空间时能够表现出良好的性能，但在面对大规模动作空间时，通常会因为Q值过高估计而导致性能下降。基于策略的DRL算法对超参数选择较为敏感，可能无法有效适用于普适网络。同时，该类DRL算法通常采用经验回放进行样本重用，这可能会导致过度的内存消耗以及旧样本无法适应动态多变的环境。另外，一些研究尝试同时优化缓存、卸载与资源分配问题，但巨大的动作空间会导致策略不稳定且易陷入局部最优，从而影响系统性能和资源利用效率。
值得注意的是，DRL智能体与MEC环境进行交互决策时，需要和MEC服务器与用户设备保持通信以获取实时系统状态信息和收集训练样本，这在真实环境中可能会导致过度的通信成本和较低的训练效率。数字孪生(Digital Twin，DT)的出现为该解决问题提供了一种新的视角，其实现物理世界与数字空间之间的连接，能够对真实MEC环境进行模拟、预测和分析。DT与MEC的结合形成了一种新型计算范式，使得DRL智能体能够在DT环境中进行模型训练，探索不同动作策略以学习最佳决策模型，进而将该模型反馈至真实MEC环境。若未引入DT，DRL智能体的训练会面临在物理MEC网络中数据采集的时效性问题。为此，边缘节点通常只能与其覆盖范围内的用户设备进行持续通信，以满足DRL智能体的训练需求。相比之下，DT与MEC的结合不仅提升了DRL智能体的训练效率，也降低了模型训练成本和系统开销。
基于上述分析，为了解决上述重要挑战，本发明构建了一种新型的数字孪生云边网络(DT Cloud-Edge Networks，DTCEN)模型，并提出一种新颖的基于凸优化使能深度强化学习的服务缓存与计算卸载联合优化(Joint optimization of service Caching andcomputation Offloading with Convex-optimization-enabled deep Reinforcementlearning，JCO-CR)方法。大量仿真实验验证了所提出JCO-CR方法的可行性和有效性。实验结果表明，与其他6种基准方法对比，JCO-CR方法能够有效降低服务延迟并在不同场景下均展现出更加优越的性能。
实现思路