本技术介绍了一种云端AI赋能的大数据处理系统,属于大数据处理技术领域。系统将云端任务分为数据存储、数据访问和算力服务三大场景,采集云端服务器任务完成数据,分析云服务过程数据,计算存储、访问和算力的时间偏离度,并与阈值比较,据此采取相应措施。该系统能够精准识别和处理不同任务,优化资源配置和性能管理,快速响应性能问题,减少服务中断,提升用户体验。
背景技术
云端AI驱动的大数据处理系统是一个集成了人工智能技术和云计算能力的数据处理架构,旨在高效地处理、分析和挖掘海量数据。这种系统通过利用云端强大的计算资源、存储能力以及AI算法的智能性,实现了对数据的高效管理。现有的大数据处理系统通常集成了多种技术,包括分布式存储、并行计算框架、数据处理与分析工具等,以支持对海量数据的处理。
现有的大数据处理系统,存在的问题有,不能够及时发现云服务中的性能瓶颈,导致服务的稳定性和响应速度低于预期,从而影响用户体验;现有技术中无法准确预测存储消耗时长,无法有效监管云存储服务过程,导致云存储服务可靠性异常。
实现思路