东北大学张宁,孙秋野等:基于模糊Q学习的自能源综合能量管理策略
发布时间:2019-11-27

本文得到国家自然科学基金(61573094,61433004)资助。
原文发表在《全球能源互联网》2019年第6期,欢迎品读。
作者:张宁,孙秋野,马大中
单位:东北大学信息科学与工程学院,东北大学流程工业国家重点实验室
文章摘要
随着用户在综合能源系统中的参与度以及系统复杂度的提升,传统的能源枢纽已无法完全满足需求。在此背景下,本文提出了具备全双工与分布式特性的自能源单元,并且构建了一种针对多种不确定性以及需求侧响应的自能源综合调度模型并提出相应的能量管理策略。采用对环境模型需求较低的增强学习算法,引入不确定性作为状态指标并进行模糊离散化处理,使其可以在无前期预测的情况下解决模型中的多种不确定性带来的影响。
文章亮点
1
提出了具备全双工与分布式特性的自能源单元。
2
构建了一种针对多种不确定性以及需求侧响应的自能源综合调度模型。
3
利用增强学习算法,引入不确定性作为状态指标并进行模糊离散化处理。解决模型中的多种不确定性带来的影响。
主要内容
在互联网中,存在信息传递单元“自媒体”。受到这一概念的启发,能源互联网中部分具备能源交换能力的区域可以被定义为“自能源”。自能源不再单一的是能源的接收者,同时还是能源的供应者。与传统能源系统进行比较,自能源的强耦合特性与互补特性使得自能源可以将不同种类的能源转换成自己所需的能源。全双工特性是自能源与现有的能源单元能源传输方式的最大区别。所以,自能源在运行时可以实现能源的双向传递。基于能源市场交易的背景下,自能源可能同时担任买家和卖家两种角色。这时目前已有的能源交易方式将无法适用,全双工传输特性为能源市场交易相关研究提供了一种新的思路。

⬆ 自能源结构
对于自能源来说,由于其内部设备的耦合特性与自身的全双工特性,如何实现其最优能源调度便是自能源研究的重要方向。由于自能源具有自主性,因此自能源可以根据市场价格与负载情况实施多种能源的需求侧响应。本文所提的自能源综合调度模型,目标函数是基于自能源与各网络之间的交易、能源市场的价格以及自能源内部的需求侧响应提出。
自能源作为能量互联网中重要组成部分,虽然自能源内部的多种设备可以使自能源将不同种类的能源转换成自己所需的能源。但同样地,自能源内部设备的强耦合特性与复杂性也为针对自能源的综合能量调度带来了极大的困难。本文在传统Q值函数中加入双层模糊推理来得到连续空间的Q值函数,利用Q值函数得到的Q值来选取最优动作,得到所需综合能源管理策略。

⬆ 自能源24h网络购买量
最终仿真结果如图所示,仿真结果可以清晰证明自能源的全双工特性。在太阳能发电量不充足的时间里,自能源基本处在一个购电的状态。当新能源供给充足时,自能源开始向网络侧出售一部分电能。同时由于在波峰时段,购电与售电价格较高。在此时间段,自能源中新能源发电在满足负载的情况下,优先向电网出售能源。空缺的热能则向热力网络购买,从而达到经济最优。证明所提综合能量管理策略具有较高的效率和更好的适用性,能有效实现不确定环境下自能源的最优调配。
研究团队
东北大学信息科学与工程学院智能电气科学与技术研究院长期从事包括电力系统仿真与分析技术、电网安全稳定控制技术、电力系统规划等多方面的研究。研究团队同时长期从事综合能源系统的智能优化决策与安全运行研究,在理论、方法和技术等方面取得了若干系统性的创新研究成果,并实现规模工业应用。
以张化光教授为核心、孙秋野教授为骨干的能源互联网与智慧能源研究团队主要研究复杂网络稳定性分析、分布式能源系统建模及分析、智能控制理论等。团队先后承担并完成了973项目1项,国家863高科技计划重大/探索专项4项,国家重点基金4项,国家自然科学基金杰出青年基金2项,国家自然科学基金面上/青年项目26项。
作者简介

张宁
博士研究生
主要研究方向为能源互联网、分布式协同控制、增强学习,综合能源系统能量管理
E-mail:hbuzhangning@163.com


孙秋野
教授,博士生导师
主要研究方向为电力系统,电气工程及其自动化,能源互联网,微电网,分布式优化,分布式控制等
E-mail:sunqiuye@ise.neu.edu.cn


马大中
副教授
主要研究方向为故障诊断,容错控制,能源管理系统,分布式发电系统、微网和能源互联网的优化与控制
E-mail:madazhong@ise.neu.edu.cn
编辑:李锡
审核:白恺
郑重声明
根据国家版权局相关规定,纸媒、网站、微博、微信公众号转载、摘编本网站作品,需包含本网站名称、二维码等关键信息,并在文首注明《全球能源互联网》原创。 个人请按本网站原文转发、分享。
