边缘计算优化:生成式AI服务的协同推理方法
2025-02-21 12:14
No.1342469617997848576
技术概要
PDF全文
本技术介绍了一种针对生成式人工智能服务的边缘计算协同推理优化技术,属于分布式计算技术领域。该方法涵盖了客户端向边缘服务器发送模型请求和文本描述,边缘服务器据此执行推理任务,并优化推理过程,以提升服务效率和响应速度。
背景技术
边缘计算和基于扩散模型的AIGC技术逐渐成为推动智能应用发展的两个关键领域。边缘计算通过在网络边缘执行计算任务,减少了对中央数据中心的依赖,有效降低了数据传输延迟,提升处理速度,并增强了用户隐私保护。而基于扩散模型的AIGC技术则利用其强大的数据生成能力,通过逐步添加和去除噪声来生成高质量的图像和文本。当前的人工智能生成内容(AI Generated Content, AIGC)服务通常依赖于中心化的云计算处理。这种依赖性带来了一些问题:首先,这种方式导致了高网络延迟和大带宽使用,其次在处理用户请求,完成用户服务的过程中消耗了大量能源。此外,用户与云中心之间的频繁数据传输增加了隐私泄露的风险。这种数据交换的频繁性可能会在网络条件不稳定或带宽有限的情况下影响服务的可用性和性能,也有可能造成对数据隐私和安全性的潜在威胁。在网络使用高峰时段,云中心的过载进一步降低了服务质量,影响用户体验。 因此,如何优化生成式人工智能服务的计算过程成为需要解决的技术问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
冯为嘉  张偌嘉  朱逸宸  左心宇  王晨阳
技术所属: 天津师范大学
相关技术
一种基于机器学习的文本数据检测方法、装置和设备 一种基于机器学习的文本数据检测方法、装置和设备
日志处理方法、装置、设备及介质 日志处理方法、装置、设备及介质
应用信息配置方法及装置 应用信息配置方法及装置
模型训练方法、装置、电子设备及计算机可读存储介质 模型训练方法、装置、电子设备及计算机可读存储介质
辅助文稿自动生成方法、装置、存储介质、程序产品 辅助文稿自动生成方法、装置、存储介质、程序产品
信息交互方法及装置 信息交互方法及装置
FPGA实现硬件逻辑实时仿真的方法及装置 FPGA实现硬件逻辑实时仿真的方法及装置
基于API和数据库的动态标定方法 基于API和数据库的动态标定方法
一种虚拟机的沙箱引擎更新方法、装置、设备和介质 一种虚拟机的沙箱引擎更新方法、装置、设备和介质
频域响应仿真与测量数据处理方法及装置 频域响应仿真与测量数据处理方法及装置
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利