基于多智能体深度强化学习的电-气-热综合能源系统分布式优化

电-气-热综合能源系统协调优化问题具有强耦合、非凸非线性等特点,集中式优化方法通讯成本高,建模复杂,传统的数值迭代求解在应对不确定性、求解效率上存在一定局限,难以在线应用.本文针对电-气-热综合能源系统协调优化问题,构建了一种含动态分配因子的综合能源分布式系统模型,采用基于多智能体深度确定性策略梯度方法,将优化问题设计为多智能体强化学习环境下的分布式优化问题.引入动态分配因子可以使得系统能够考虑到实时供需情况变化对系统优化的影响,动态协调不同能源进行互补利用,有效提升系统的经济性.采用多决策中心的分布式模型能够在减轻系统通讯压力的同时达到和集中式优化近乎一致的结果.所提优化方法能够在训练中考虑到可再生能源和负荷的双重不确定性,训练后的模型相比于传统迭代求解方法不仅具有较好应对不确定性的能力,还能够实现系统实时决策,有利于在线应用.最后,通过耦合三个能量枢纽智能体的综合能源系统进行算例分析,验证了所提方法的有效性.