本技术属于综合能源系统规划优化技术领域,为了解决综合能源系统规划中存在的求解困难、耗时长等问题,提出基于深度强化学习的综合能源系统规划优化方法及系统,建立综合能源系统的数学模型,确定综合能源系统的目标函数和约束条件,形成初始动态规划优化问题;将初始动态规划优化问题转化为马尔科夫决策过程;利用DDPG算法和预测网络对综合能源系统的历史运行数据进行离线学习;将离线学习的优化参数应用在Online‑DDPG算法中,对初始动态规划优化问题进行求解,得到综合能源系统的最优规划方案。有效解决了维数灾难和信息损失导致的求解模型问题,同时提高了对负荷与可再生能源波动的抗干扰能力。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
通过综合能源系统各种异质能源已被相互连接、整合和互补,为提高能源利用效率和缓解全球环境压力提供了重要解决方案。综合能源系统可以高效整合和利用各种能源单元,如可再生能源发电单元、热电联产单元、储能单元等。多种能源单元的共存和相互作用增加了为综合能源系统设计能源调度策略的难度。综合能源系统中的可再生能源发电和能源负荷具有显著的波动性和随机性。因此,这种动态不确定性给综合能源系统的安全经济运行带来严峻挑战。
在综合能源系统中,太阳能与风能等清洁能源的不稳定性和多种能源的耦合使物理模型十分复杂,各种智能通信设备的接入,会产生大量的高维数据,数据处理难度增大,常用的传统优化算法由于计算成本的增大导致求解速率过慢,难以适用。近年来,深度强化学习的发展令人印象深刻。它是一种基于机器学习的技术,模拟了人类学习的过程,对大量数据和复杂模型的问题有着高效的解决能力,为人工智能系统提供了更高效的决策方法。深度强化学习已被用于各种场景,如自动驾驶、桌游棋牌、动作检测等,在电力系统的安全稳定控制、电力调度、最优潮流控制、电压无功优化控制等方面也得到研究。通过与环境不断的交互,深度强化学习的智能体可以获取到许多关于环境的信息和经验,并在之后的动作中运用,以达到最大化奖励值。
强化学习理论的不断发展为解决具有不确定因素的优化决策问题提供了新思路。强化学习是一种数据驱动的方法,通过智能体与环境之间的持续交互可以不断改进策略。深度强化学习将深度学习的非线性拟合能力与强化学习的决策能力相结合,是解决高维复杂问题的有效手段,并且可以避免过度依赖精细的物理模型。此外,由于深度强化学习在综合能源系统中的应用探索较少,有必要深入挖掘深度强化学习在综合能源系统能源调度中的潜力。
实现思路