相关论文:
-
全球能源互联网
第6卷 第3期 2023年05月;页码:258-265
基于可进化 PID 的含电动汽车孤岛微电网负荷频率控制策略
A Load Frequency Control Strategy of Island Microgrid with V2G Based on Evolutionary-PID
- 1.武汉大学电气与自动化学院,湖北省 武汉市 430072
- 2.国网河北省电力有限公司电力科学研究院,河北省 石家庄市 050000
- FAN Peixiao1, HU Wenping2, WEN Yuxin1, KE Song1, YANG Jun1* (1. School of Electrical and Automation, Wuhan University, Wuhan 430072, Hubei Province, China
- 2. Electric Power Research Institute, State Grid Hebei Electric Power Co., Ltd., Shijiazhuang 050000, Hebei Province, China
关键词
Keywords
摘 要
Abstract
电动汽车(electric vehicle,EV)作为具有车网互动(vehicle-to-grid,V2G)能力的移动储能组件,为微电网的频率稳定提供了更为灵活的控制方案。但是,分布式电源与电动汽车所具有的强非线性,也给微电网频率控制带来了新的挑战。为此,提出了一种基于可进化PID的含电动汽车微电网频率控制策略。首先,考虑电动汽车移动性和用户充电行为随机性,以及电动汽车充电站容量在日内的阶段性突变,建立了由电动汽车充电站、微型燃气轮机与分布式电源组成的微电网系统。其次,将PID与深度确定性策略梯度(DDPG)算法进行互补,形成可进化PID控制器,根据微电网系统实际情况完成状态空间、动作空间与奖励函数的设计,从而对PID控制器实现自适应权重参数的调整,有效解决了电动汽车与随机扰动所带来的强非线性影响。最后,仿真结果表明:与传统PID算法相比,可进化PID控制器不仅能够更有效地抑制强随机扰动所引起的频率波动,还可以更好地适用于系统参数和结构随时间发生变化的复杂工况。
As a mobile energy storage component with V2G capability, electric vehicles (EVs) provide a more flexible control scheme for the frequency stability of microgrids.However, the strong nonlinearity of distributed power supply and EVs also brings new challenges to microgrid frequency control. Therefore, a load frequency control strategy of island microgrid with V2G based on evolutionary-PID is proposed in this paper. First, considering the mobility of EVs and randomness of user charging behavior, as well as the phased mutation of the capacity of EVs station during the day, a microgrid system composed of EVs, micro gas turbine, and distributed power supply is established. Then, PID and DDPG algorithms are complementary to form a evolutionary-PID controller. According to the actual situation of the microgrid system, the design of state space, action space, and reward function is completed, to realize the adjustment of adaptive weight parameters of the PID controller, which effectively solves the strong nonlinear influence brought by EVs and random disturbance. Finally, the simulation results show that compared with the traditional control algorithm, the evolutionary-PID controller can not only suppress the frequency fluctuation caused by strong random disturbance more effectively, but also better adapt to complex working conditions where the system parameters and structure change strongly nonlinear with time.
0 引言
孤岛微电网的频率通常由各微源和储能装置来维持[1-3],但孤岛微电网的容量有限,易受到分布式电源波动的影响[4-6]。分布式电源与电动汽车(electric vehicle,EV)近年来在电力系统中的应用愈发广泛,给微电网运行带来了越来越多的随机性与不确定性[7-11]。
首先,随着车网互动(vehicle-to-grid,V2G)技术的发展,关于电动汽车参与电网削峰填谷、平抑功率波动和微电网频率控制等方面的研究愈发深入[12-16],但其所具有的移动性与用户行为的随机性也给微电网的调控带来了更大的挑战。文献[17]建立了包含微型燃气轮机(MTs)、电动汽车及其输出功率约束的孤岛微电网负荷频率控制模型,但文中的电动汽车模型约束为固定值。文献[18]考虑了小时间尺度下用户出行需求的随机性,对电动汽车荷电状态进行了建模,但未考虑全天的大时间尺度下,电动汽车移动性对充电站容量和功率输出的阶段性影响。在实际情况中,电动汽车充电站可控容量在小时间尺度上会由于个别电动汽车进出与充电状态变化而发生随机性变化;在大时间尺度上,由于用户日内充电行为的周期性与电动汽车的移动性,会随时间出现阶段性突变。
同时,国内外已有大量的学者进行了微电网负荷频率控制技术的研究。文献[19]针对光柴混合发电的孤岛微电网,提出基于传统滑模控制和超级电容调节的频率控制方法,在实现光伏系统输出功率最大化的同时,有效减少了孤岛微电网的频率偏差。文献[20]针对电网负荷频率控制问题,综合传统模糊控制与PID控制算法的优点,提出了模糊PID控制策略并对系统性能进行了优化。文献[21]针对含抽水蓄能电站的电网负荷频率控制系统,基于MPRS(maximum peak response specification)理论,提出了水轮机组的模糊控制器,实现了电网日常运行中的负荷频率控制及紧急状态下的功率支援作用。然而,上述研究均未考虑电动汽车在微电网调控中的作用,在面对电动汽车充电站容量发生阶段性突变或系统遭遇极端强随机扰动等强非线性影响时,已经整定好参数的频率控制器的控制性能会受到较大影响,这会导致闭环系统不稳定。可见,传统控制方法已不能满足微电网频率稳定控制的效果要求。
因此,为解决日益复杂的微电网频率控制问题,改善V2G背景下电动汽车参与微电网调频的控制效果,人工智能算法开始应用于微电网的频率控制中[22-24]。文献[25]将大型互联电网中的集中式自动发电控制原理引入微电网,并结合基于平均报酬模型的多步R(λ)学习算法,提出了一种孤岛运行模式下基于强化学习的AGC (自动发电控制) 控制器,以实现对微电网的智能发电控制与频率调整。文献[26]基于DQN (深度Q网络) 算法,设计出具有在线学习和经验回放能力的频率控制器,有效应对了含电动汽车微电网中所存在的强非线性扰动。但是,文献[25-26]是通过机器学习中的强化学习算法,通过大量数据进行预训练从而实现经验的积累,使得控制能力得到持续进化。此类控制过程被视为黑盒,这种将强化学习算法作为核心的控制器难以应用到含电动汽车微电网这种安全性要求较高的场景中。
综上所述,本文提出一种基于可进化PID的含电动汽车微电网负荷频率协调控制策略,主要贡献如下。
1) 提出在全天时间尺度下,考虑电动汽车移动性和用户充电行为随机性的频率控制模型。建立电动汽车用户充电时间分布模型、充电需求模型、荷电状态(SOC)动态模型。更现实、更具体地还原电动汽车充电站可控容量在小时间尺度上发生随机性变化,在大时间尺度上发生阶段性突变。
2) 提出一种基于可进化PID的频率控制策略。该方法将PID与强化学习算法进行互补,以PID算法作为控制器的整体核心,而深度确定性策略梯度(deep deterministic policy gradient,DDPG)智能体能够基于经验积累的不断进化,从而根据各类复杂场景的环境情况对PID控制器的控制参数进行适应性调整,解决电动汽车与强随机扰动给孤岛微电网稳定控制所带来的非线性影响。
1 孤岛微电网频率控制模型
1.1 电动汽车充电站频率控制模型
电动汽车充电站在微电网调控中是储能与调频装置,其输出功率增量限幅受到站内各电动汽车状态的影响。本节基于用户充电行为的随机性,构建电动汽车充电站的频率控制模型。
假设电动汽车在行驶前充满电,电动汽车的电池功耗与日里程呈线性关系。即在得到电动汽车日行驶里程的概率分布后,可以得到电动汽车返回充电站充电时的电池状态SOC0的概率分布。电动汽车日行驶里程服从对数正态分布,其概率密度函数为
式中:L为电动汽车每日行驶距离;μL与σL分别表示均值和方差。
假设电动汽车返回时刻t,服从正态分布,其概率密度函数为
式中:μs与σs分别表示均值和方差。
此外,假设电动汽车进入充电站后的充电功率是恒定的。当电动汽车电池的充电状态达到SOCm时,可以满足用户在电动汽车离开充电站后的预期驾驶过程。若在车辆离开充电站时,荷电状态未达到SOCm,可能会导致用户在电动汽车离开充电站后无法完成预期驾驶过程,严重损害车主需求,这种控制过程是不允许的。
因此,根据每天的行驶里程,可以计算电动汽车进站后充电使电池容量达到SOCm的时间为Tc:
式中:Pc为充电功率;Q100为百千米耗电量;Wtotal为电动汽车总电量;Wm为荷电状态为SOCm时电动汽车的电量。
电动汽车在充电站内所停滞的时长定义为ΔT,离开时间定义为Tleave,易知ΔT≥Tc。故ΔT与Tleave满足下式:
式中:σT是一个正随机数,其取值将根据用户工作日出行习惯而具体选取。Tenter为电动汽车入站充电时间。
在荷电状态达到SOCm后(或进站时荷电状态已经大于SOCm),电动汽车将能够参与微电网的调频过程,即能够在微电网遇到较大扰动时参与放电,且这一放电过程不会使电动汽车电量低于SOCm。当荷电状态达到最大荷电容量SOCmax时,电动汽车将不再充电,以保证电池寿命,此时电动汽车将自动停止充电(保持荷电状态)或进行放电以参与微电网调频。具体状态如图1—图2所示。
图 1 当SOC0≥SOCm电动汽车的约束边界
Fig. 1 The constraint boundary of EVs when SOC0≥SOCm
图 2 当SOC0<SOCm电动汽车的约束边界
Fig. 2 The constraint boundary of EVs when SOC0<SOCm
由此,本文能够假设t时电动汽车充电站内共有n辆电动汽车,其中包含i辆处于可充不可放电状态(SOC<SOCm),包含j辆处于不可充电能够放电状态 (SOC达到SOCmax), 剩余车辆处于既可充电也可放电状态(SOCm<SOC<SOCmax)。由此可得,在t时刻,电动汽车充电站整体发出的有功功率的限幅如式 (6) 所示。
式中:是充电站输出功率的上、下限幅;ΔPE V(t )代表t时刻电动汽车充电站对微电网的放电功率,由控制器根据微电网实际扰动与各机组实时出力所决定。
电动汽车频率控制模型如图3所示。图中:ΔuE是控制器发送至电动汽车充电站的负荷频率控制(LFC)信号;Te为电动汽车充电站的时间常数;实时上、下限约束受到充电站内车辆数量nEV、单体车辆的SOC等因素的影响;ΔPEV为电动汽车充电站的输出功率增量。
图 3 随机功率增量约束下的电动汽车频率控制模型
Fig. 3 Frequency control model of electric vehicle under random power increment constraint
综上所述,由该模型可知,微电网中的电动汽车分布变化在一天内存在突变。大多数电动汽车在早晨离开充电站,下班后逐渐返回充电站,并于晚上基本完成返回过程。即电动汽车充电站的输出功率在小时间尺度内会受到个别车辆进出与充电状态改变的小幅度影响,同时也会因为这种具有时间特征的分布而随时间发生阶段性突变。如图4所示,电动汽车充电站在T1、T2与T3时段内具有差别较大的电动汽车数量n(最大可控容量)。因此,本文将在下文介绍并验证考虑该突变特性的频率控制器的设计方法。
图 4 24小时内电动汽车充电站停车情况
Fig. 4 Parking situation in EV station within 24 hours
1.2 微电网系统频率控制模型
除了电动汽车充电站以外,本文微电网系统中还存在微型燃气轮机[27]充当主调频机组,以保证微电网调控的稳定性与灵活性。在频率控制过程中,风电系统作为扰动源,相关数据来自记录的历史数据[28]。搭建如图5所示的微电网系统频率控制模型。
图5中:ΔPW是风电扰动功率;ΔPMT是微型燃气轮机的输出功率增量;ΔPEV是电动汽车充电站的输出功率增量;Ht是微电网的惯性常量。
图 5 微电网负荷频率控制模型
Fig. 5 Load frequency control model of microgrid
2 基于可进化PID的频率控制器
2.1 基于DDPG的自适应参数PID控制器结构
DDPG算法作为强化学习中的一种,是行动者-评论家 (Actor-Critic) 框架与DQN算法的融合[29-30],继承了DQN算法中的独立目标网络,从而具有经验回放能力,旨在打破数据之间的关联性,降低模型的训练难度。本文的DDPG算法能够实现PID算法中控制参数的自适应调节。值得注意的是,本文中基于可进化PID的频率控制器就是基于DDPG的自适应参数PID控制器,两者本质是相同的,前者突出了新型PID算法的进化能力,后者突出了DDPG协助PID进行参数自适应,两者的侧重点不同,但是代表同一种算法。
DDPG算法中的动作a (即action) 表示智能体在当前环境状态s (即state) 下执行的动作。对于本文提出的基于DDPG的参数自适应PID算法而言,智能体的动作集可定义为PID控制器的可调参数KP、KI与KD,即
环境状态可以选取微电网频率控制闭环系统的状态量:实时频率偏差ΔF(t)、电动汽车充电功率的实时上、下限约束集。因此,可定义状态空间S为
由此,可总结出DDPG对PID控制器进行权重参数自适应调整的结构,如图6所示。智能体控制器在每个采样周期中会检测当前环境的状态集,并执行Actor网络所输出的动作集。进而,PID控制器将对系统频率进行控制,得到该时刻的频率偏差,系统由此计算出奖励值,对Actor网络和Critic网络进行单步更新,直到当前的回合(episode)结束。
图 6 可进化PID控制器结构图
Fig. 6 The structure of evolutionary-PID controller
2.2 DDPG智能体奖励函数的定义
一个优秀的奖励函数能够提高强化学习的训练收敛速度,不合理的奖励规则甚至会导致平均奖励曲线产生震荡。本文控制器要解决的问题是:根据一日内不同的电动汽车分布与随机扰动,通过DDPG智能体对PID控制器实现自适应参数调整,解决电动汽车与随机负荷所带来的强非线性影响。因此,根据电力安全工作规程原则,并考虑一定的调节死区,可设计出其奖励函数如下:
式中:μ1、μ2、μ3与μ4为针对微电网频率偏差的各控制区域奖励函数所对应的权值,其大小会影响学习的收敛速度与效果,需要根据实际算例与大量仿真验证得到最终取值。
当处于调节死区[0, 0.03) Hz时,频率偏差远小于正常运行的最小误差要求,故此时赋予DQN控制器最大奖励值为0;当分别处于正常控制区[0.03,0.10) Hz与[0.10, 0.15) Hz、辅助控制区[0.15, 0.20) Hz、紧急控制区[0.20, +∞) Hz时,控制器将会获得相应的负奖励,即惩罚值。
3 算例分析
3.1 仿真结构与参数选取
为评价上述策略的控制效果,根据图5中的模型,在MATLAB/Simulink软件中构建微电网系统,如图7所示。具体的设备参数与微电网实际参数设置如表1所示。通过不断测试,得到奖励函数中各权值以及超参数的具体取值[31]:分别取μ1、μ2、μ3、与μ4为3、10、20与50;折扣因子γ为0.9;学习率α为0.001;h为5;u为50。将DDPG控制器的迭代次数设置为10 000次,且每次100步,步长为0.1 s。
图 7 微电网系统结构图
Fig. 7 Structure diagram of microgrid system
表 1 微电网LFC模型的系统参数
Table 1 System parameters of the microgrid LFC model
设备参数描述值微型燃气轮机Tg 调节器时间常数 0.1 s Td 发电机时间常数 8 s R 调速系数 0.05 Hz/pu δmt发电机功率斜坡速率限制 0.015 pu/s μmt 发电机功率增量限制 0.04 pu THP1电动汽车充电站时间常数 1 s电动汽车μev电动汽车充电站最大功率增量 0.03 pu其他 Ht 微电网惯性参数 7.11 s
3.2 场景1:系统受到风电扰动
本文的DDPG智能体共耗时大约5×104 s完成15 000个回合的训练后,得到了最优值函数Q网络,能够进行相应的仿真测试[32]。同时,为了更好地体现出可进化PID控制器的性能,本文引入传统PID控制下的微电网系统作为对比(具体参数如表2所示),并分析各控制器在各类扰动下的控制性能。
表 2 微电网LFC控制器的系统参数
Table 2 Parameters of the microgrid LFC controller
控制器参数值PID KP 4 KI 1.18 KD 0.5
假设某日凌晨04:00,风力发电输出功率受到扰动,扰动数据来自历史数据[28],如图8所示。可以看出,风力扰动在85 s后大大衰弱。微电网在不同算法控制下的频率波动如图9所示。为了使得分析更为准确,本文将|Δf|<0.03 Hz的时长占比作为控制优秀率。对频率波动进行统计分析,可得到具体的分析数据如表3所示。
表 3 场景1中受到随机扰动时的仿真结果
Table 3 Simulation results under strong random disturbance in Scenario 1
控制器类型平均值/Hz 最大值/Hz 优秀率PID控制器 0.009 53 0.048 49 <95%可进化PID控制器 0.005 56 0.028 22 100%
图 8 微电系统受到的强随机扰动
Fig. 8 Strong random disturbance to island microgrid
图 9 强随机扰动下的微电网系统频率偏差
Fig. 9 Frequency deviation of microgrid system under strong random disturbance
从图9与表3可以看出,本文所设计的learningbased PID控制器用于微电网系统的频率控制时,频率波动幅度较小,可以控制在0.03 Hz的范围内,达到100%的优秀率,调节时间也明显短于传统PID控制器。在传统PID控制下,频率偏差最大达到了0.048 49 Hz,超过了优秀阈值。这一仿真结果表明在随机扰动的影响下,可进化PID控制器具有更好的稳定性和鲁棒性,以及调节时间短、对扰动响应快等优点。
3.3 场景2:电动汽车移动性对频率控制的影响
在实际系统中,电动汽车充电站储电容量在一天内会发生阶段性突变。为探究电动汽车移动性对频率控制的影响,并验证所设计控制器在面对电动汽车随机性时的鲁棒性,本节基于3.2节的场景,假设风电扰动发生在中午12:00,得到各组控制器的控制结果,如图10与表4所示。
表 4 场景2中受到随机扰动时的仿真结果
Table 4 Simulation results under strong random disturbance in Scenario 2
控制器类型平均值/Hz 最大值/Hz 优秀率PID控制器 0.020 29 0.068 89 <75%可进化PID控制器 0.006 81 0.028 81 100%
对比图9与图10可知,在中午12:00,微电网中电动汽车充电站的可控容量远小于凌晨04:00,调频能力大幅下降,PID控制器控制下的微电网频率偏差显著大于场景1,最大频率波动达到0.068 89 Hz。而在可进化PID控制器的控制下,微电网频率偏差仍能保持在0.03 Hz以内,达到100%的优秀率。这是通过DDPG智能控制器基于预学习过程所积累的经验,实时改变PID控制器参数来实现的。
图 10 中午12:00的微电网系统频率偏差
Fig. 10 Frequency deviation of microgrid at 12:00 AM
4 结论与展望
本文提出了一种基于可进化PID的含电动汽车的微电网频率控制策略。考虑了电动汽车移动性和用户充电行为随机性,以及电动汽车充电站容量在日内的阶段性突变。在PID控制的基础上加入了DDPG智能体,对PID控制器实现了自适应权重参数的调整,有效解决了电动汽车与随机负荷带来的强非线性影响。通过多种场景下的仿真分析,得出以下结论。
1) 电动汽车充电站在微电网中具有惯性小、调节速度快的特点,可在微电网频率调节中发挥重要作用。
2) 与PID控制相比,可进化PID算法能够更好地应对随机性扰动,并更好地适应系统参数和结构的变化:当微电网内发生强随机干扰或电动汽车充电站容量发生阶段性突变时,DDPG智能体能够对PID控制器参数在小时间尺度下进行精细调节,在大时间尺度下进行阶段性调整,显著增强了含电动汽车的微电网频率控制的鲁棒性和适应性。
电动汽车冬季和夏季电池功耗不同会影响微电网的负荷频率控制过程,但是由于本文所研究的控制过程是短暂的,控制模型可以根据实际需要随时进行调整,在夏季/冬季切换相应的控制模型,即可完成对应的控制过程。同样地,在不同地区,控制模型也可能发生一定的改变,相关内容将在后续的工作中进行深入研究。
参考文献
-
[1]
苏玲,张建华,王利,等. 微电网相关问题及技术研究[J].电力系统保护与控制,2010,38(19):235-239.SU Ling, ZHANG Jianhua, WANG Li, et al. Study on some key problems and technique related to microgrid[J]. Power System Protection and Control, 2010, 38(19): 235-239 (in Chinese). [百度学术]
-
[2]
YOKOYAMA R, ZHOU Y. Microgrid designer: user-friendly design, operation and control assist tools for resilient microgrid and autonomous community[J]. Global Energy Interconnection,2022, 5(3): 249-258. [百度学术]
-
[3]
MISHRA S, PETERSON K, HILIMON T, et al. Resiliency oriented control of a smart microgrid with photovoltaic modules[J]. Global Energy Interconnection, 2021, 4(5): 441-452. [百度学术]
-
[4]
随权,魏繁荣,林湘宁,等. 一种基于可控负荷效率控制的孤岛微网新型调度策略[J]. 中国电机工程学报,2019,39(24):7168-7178.SUI Quan, WEI Fanrong, LIN Xiangning, et al. A novel dispatching strategy for isolated microgrid based on controllable load efficiency control[J]. Proceedings of the CSEE, 2019,39(24): 7168-7178 (in Chinese). [百度学术]
-
[5]
LIU X, FENG T. Energy-storage configuration for EV fast charging stations considering characteristics of charging load and wind-power fluctuation[J]. Global Energy Interconnection,2021, 4(1): 48-57. [百度学术]
-
[6]
MA X Y, MU Y F, ZHANG Y, et al. Multi-objective microgrid optimal dispatching based on improved bird swarm algorithm[J].Global Energy Interconnection, 2022, 5(2): 154-167. [百度学术]
-
[7]
RAHIMI F, IPAKCHI A. Demand response as a market resource under the smart grid paradigm[J]. IEEE Transactions on Smart Grid, 2010, 1(1): 82-88. [百度学术]
-
[8]
支娜,肖曦,田培根,等. 微网群控制技术研究现状与展望[J]. 电力自动化设备,2016,36(4):107-115.ZHI Na, XIAO Xi, TIAN Peigen, et al. Research and prospect of multi-microgrid control strategies[J]. Electric Power Automation Equipment, 2016, 36(4): 107-115 (in Chinese). [百度学术]
-
[9]
钱仲豪,江志辉,吴茜,等. 计及不确定性因素的分布式电源与电动汽车充电站协调优化[J]. 电力工程技术,2021,40(1):131-137.QIAN Zhonghao, JIANG Zhihui, WU Xi, et al. Coordinated optimization of distributed power and electric vehicle charging stations considering uncertain factors[J]. Electric Power Engineering Technology, 2021, 40(1): 131-137 (in Chinese). [百度学术]
-
[10]
侯岚,李玉杰,贾晓明,等. 考虑EV负荷的微电网多主体联合容量优化配置方法[J]. 电力工程技术,2022,41(4):127-134.HOU Lan, LI Yujie, JIA Xiaoming, et al. Optimization of capacity configuration method for multi-agent microgrid considering EV load[J]. Electric Power Engineering Technology, 2022, 41(4): 127-134 (in Chinese). [百度学术]
-
[11]
林晓明,唐建林,张帆,等. 基于虚拟同步策略的电动汽车V2G技术在多能互补系统中的研究及应用[J]. 电力系统保护与控制,2022,50(13):143-150.LIN Xiaoming, TANG Jianlin, ZHANG Fan, et al. Research and application of electric vehicle V2G technology based on a virtual synchronization strategy in a multi-energy complementary system[J]. Power System Protection and Control, 2022, 50(13): 143-150 (in Chinese). [百度学术]
-
[12]
CHAE S H, KIM G H, CHOI Y J, et al. Design of isolated microgrid system considering controllable EV charging demand[J]. Sustainability, 2020, 12(22): 9746. [百度学术]
-
[13]
李航,李国杰,汪可友. 基于深度强化学习的电动汽车实时调度策略[J]. 电力系统自动化,2020,44(22):161-167.LI Hang, LI Guojie, WANG Keyou. Real-time dispatch strategy for electric vehicles based on deep reinforcement learning[J]. Automation of Electric Power Systems, 2020,44(22): 161-167 (in Chinese). [百度学术]
-
[14]
米阳,伦雪莹,孟凡斌,等. 基于无模型算法和电动汽车辅助调节的新能源电力系统频率协调控制[J]. 电力系统保护与控制,2021,49(24):13-20.MI Yang, LUN Xueying, MENG Fanbin, et al. Frequency coordinated control of a new energy power system based on a model-free algorithm and EV auxiliary regulation[J].Power System Protection and Control, 2021, 49(24): 13-20 (in Chinese). [百度学术]
-
[15]
程杉,钟仕凌,尚冬冬,等. 考虑电动汽车时空负荷分布特性的主动配电网动态重构[J]. 电力系统保护与控制,2022,50(17):1-13.CHENG Shan, ZHONG Shiling, SHANG Dongdong, et al. Dynamic reconfiguration of active distribution network considering space-time load distribution characteristics of electric vehicles[J]. Power System Protection and Control,2022, 50(17): 1-13 (in Chinese). [百度学术]
-
[16]
程杉,汪业乔,廖玮霖,等. 含电动汽车的新能源微电网多目标分层优化调度[J]. 电力系统保护与控制,2022,50(12):63-71.CHENG Shan, WANG Yeqiao, LIAO Weilin, et al. Bi-level multi-objective optimization of a new energy microgrid with electric vehicles[J]. Power System Protection and Control,2022, 50(12): 63-71 (in Chinese). [百度学术]
-
[17]
YANG J, ZENG Z L, TANG Y F, et al. Load frequency control in isolated micro-grids with electrical vehicles based on multivariable generalized predictive theory[J]. Energies, 2015,8: 2145-2164. [百度学术]
-
[18]
RAO Y Q, YANG J, XIAO J X, et al. A frequency control strategy for multimicrogrids with V2G based on the improved robust model predictive control[J]. Energy, 2021, 222: 119963. [百度学术]
-
[19]
米阳,张寒,杨洋,等. 独立光柴混合微电网新的负荷频率控制研究[J]. 控制工程,2014,21(1):103-106.MI Yang, ZHANG Han, YANG Yang, et al. The study of novel load frequency control for isolated PV-diesel hybrid microgrid[J]. Control Engineering of China, 2014, 21(1): 103-106 (in Chinese). [百度学术]
-
[20]
臧海瑞,杨巍. 基于模糊PID的电网负荷频率控制与优化[C]//全国冶金自动化信息网2016年会论文集. 2016:4. [百度学术]
-
[21]
鲍珣珣. 含抽水蓄能电站的电网负荷频率控制系统研究[D].上海:上海交通大学,2015.BAO Xunxun. Research on load frequency control system of power grid with pumped storage power station[D]. Shanghai:Shanghai Jiao Tong University, 2015 (in Chinese). [百度学术]
-
[22]
龙英文,陈洁,余粟. 一种分布式系统的孤岛微电网无功功率分配算法[J]. 控制工程,2021,28(7):1354-1359.LONG Yingwen, CHEN Jie, YU Su. A reactive power sharing algorithm for islanded micro-grid based on distributed system[J]. Control Engineering of China, 2021, 28(7): 1354-1359 (in Chinese). [百度学术]
-
[23]
程乐峰,余涛,张孝顺,等. 机器学习在能源与电力系统领域的应用和展望[J]. 电力系统自动化,2019,43(1):15-31.CHENG Lefeng, YU Tao, ZHANG Xiaoshun, et al. Machine learning for energy and electric power systems: state of the art and prospects[J]. Automation of Electric Power Systems, 2019,43(1): 15-31 (in Chinese). [百度学术]
-
[24]
DONG L, WEI J, LIN H, et al. Distributed optimization of electricity-gas-heat integrated energy system with multi-agent deep reinforcement learning[J]. Global Energy Interconnection,2022, 5(6): 604-617. [百度学术]
-
[25]
余涛,梁海华,周斌. 基于R(λ)学习的孤岛微电网智能发电控制[J]. 电力系统保护与控制,2012,40(13):7-13.YU Tao, LIANG Haihua, ZHOU Bin. Smart power generation control for microgrids islanded operation based on R(λ)learning[J]. Power System Protection and Control, 2012,40(13): 7-13 (in Chinese). [百度学术]
-
[26]
范培潇,杨军,肖金星,等. 基于深度Q学习的含电动汽车孤岛微电网负荷频率控制策略[J]. 电力建设,2022,43(4):91-99.FAN Peixiao, YANG Jun, XIAO Jinxing, et al. Load frequency control strategy based on deep Q learning for island microgrid with electric vehicles[J]. Electric Power Construction, 2022,43(4): 91-99 (in Chinese). [百度学术]
-
[27]
FAN P X, KE S, KAMEL S, et al. A frequency and voltage coordinated control strategy of island microgrid including electric vehicles[J]. Electronics, 2021, 11(1): 17. [百度学术]
-
[28]
风特征数据库[DB/OL]. [2022-06-18]. http://www.wind-data.com/. [百度学术]
-
[29]
HUANG L, FU M, QU H, et al. A deep reinforcement learning-based method applied for solving multi-agent defense and attack problems[J]. Expert Systems with Applications,2021, 176: 114896. [百度学术]
-
[30]
YANG Q M, ZHU Y, ZHANG J D, et al. UAV air combat autonomous maneuver decision based on DDPG algorithm[C]//2019 IEEE 15th International Conference on Control and Automation (ICCA). July 16-19, 2019, Edinburgh,UK. IEEE, 2019: 37-42. [百度学术]
-
[31]
FAN P X, KE S, YANG J, et al. A load frequency coordinated control strategy for multimicrogrids with V2G based on improved MA-DDPG[J]. International Journal of Electrical Power & Energy Systems. 2023, 146: 108765. [百度学术]
-
[32]
刘俊峰,陈剑龙,王晓生,等. 基于深度强化学习的微能源网能量管理与优化策略研究[J]. 电网技术,2020,44(10):3794-3803.LIU Junfeng, CHEN Jianlong, WANG Xiaosheng, et al.Energy management and optimization of multi-energy grid based on deep reinforcement learning[J]. Power System Technology, 2020, 44(10): 3794-3803(in Chinese). [百度学术]
基金项目
国家自然科学基金资助项目(51977154)。