本技术介绍了一种针对生成式人工智能服务的边缘计算协同推理优化技术,属于分布式计算技术领域。该方法涵盖了客户端向边缘服务器发送模型请求和文本描述,边缘服务器据此执行推理任务,并优化推理过程,以提升服务效率和响应速度。
背景技术
边缘计算和基于扩散模型的AIGC技术逐渐成为推动智能应用发展的两个关键领域。边缘计算通过在网络边缘执行计算任务,减少了对中央数据中心的依赖,有效降低了数据传输延迟,提升处理速度,并增强了用户隐私保护。而基于扩散模型的AIGC技术则利用其强大的数据生成能力,通过逐步添加和去除噪声来生成高质量的图像和文本。当前的人工智能生成内容(AI Generated Content, AIGC)服务通常依赖于中心化的云计算处理。这种依赖性带来了一些问题:首先,这种方式导致了高网络延迟和大带宽使用,其次在处理用户请求,完成用户服务的过程中消耗了大量能源。此外,用户与云中心之间的频繁数据传输增加了隐私泄露的风险。这种数据交换的频繁性可能会在网络条件不稳定或带宽有限的情况下影响服务的可用性和性能,也有可能造成对数据隐私和安全性的潜在威胁。在网络使用高峰时段,云中心的过载进一步降低了服务质量,影响用户体验。
因此,如何优化生成式人工智能服务的计算过程成为需要解决的技术问题。
实现思路