本技术介绍了一种在无线边缘网络环境中,针对分布式学习任务的服务部署方法。该方法依据任务的资源和通信需求,将原始任务的有向无环图合并成服务有向无环图,并据此进行服务的智能部署。
背景技术
随着机器学习技术的巨大进步,越来越多的大型计算服务和应用随之发展,如智能网络管理和人脸识别等应用。由于涉及大量数据和密集的计算,机器学习算法很难用于资源受限的设备上。边缘计算虽然可为资源受限的前端设备提供额外的计算和存储资源,但其要求用户将训练数据转移到集中的边缘服务器上,从而导致了隐私问题。为了解决这一问题,无线边缘网络中的分布式学习(Distributed Learning in Wireless EdgeNetworks,DLWENs)应运而生,并得到了广泛的研究关注。
在DLWENs的框架中,边缘服务器充当“工作”节点,运行学习服务,并协作训练模型来处理卸载的任务。学习任务按照数据分区或函数分区方法,被划分并分配到多个“工作”节点。在边缘计算中实现时,位于不同边缘服务器上的子任务相互通信,协同完成学习任务。显然,要处理特定的子任务,需要将边缘服务器放置在相应的服务中。然而,由于每个边缘服务器只能实例化一定数量的服务,因此服务在无线边缘网络中的放置成为分布式学习性能的一个关键问题。
与传统的边缘网络中的服务放置不同,分布式学习中的服务放置存在以下明显的挑战。首先,要考虑放置的服务之间存在依赖关系。例如,运行训练服务的边缘服务器依赖于具有数据清理服务的服务器的输出。因此,放置时不仅需要考虑服务的资源,还需要考虑服务间通信的开销。其次,由于无线通信的不可靠性和前端用户移动性的随机性,学习任务表现出较高的不确定性,这进一步影响了服务放置决策。第三,在系统级别,考虑到服务实例的固定数量,多个学习任务可能共享由相同的服务处理的相同类型的功能(例如,数据清理),则不能立即处理,这将导致排队延迟,这也被现有的工作所忽略。
基于此,一种能够考虑放置的服务之间依赖关系的,对通信不可靠性和用户移动随机性鲁棒的、降低排队延迟的,一种面向无线边缘网络场景中分布式学习应用的任务感知服务放置方法是本领域所亟需的。
实现思路