0 引言

随着2020年中国“双碳”目标的提出[1-4]，风电、光伏、水电等新能源发电的并网规模飞速增长，电网中新能源渗透率升高已成为电力系统的必然趋势[5]。但风力发电与光伏发电受天气情况影响较大，功率输出可能在短时间内产生较大波动，影响电网频率调节与电力调度[6]。因此，亟需针对新型电力系统特点，优化调频控制策略，从而提高二次调频的稳定性与经济性。

自动发电控制（automatic generation control，AGC）是维持电力系统频率稳定的重要手段[7]。在AGC控制中，电网检测系统频率偏差与联络线功率偏差来确定总调频功率，并分配功率给各调频机组[8]。但随着新能源渗透率的提升，传统的AGC控制无法较好地满足电力系统频率稳定需求。文献[9]提出利用自适应动态规划（adaptive dynamic programming，ADP）解决复杂非线性系统的最优控制问题。ADP算法模拟人脑通过环境反馈进行学习的思想，利用非线性函数拟合方法来近似动态规划目标，并根据动态系统的特性，实时更新控制策略。为了提升ADP的拟合能力，文献[10]将传统ADP中的3个神经网络替换为DNN，提升了原有负荷频率控制系统的准确性。上述研究提出的方法能够提升控制精度，但没有考虑多类型新能源作为调频源并入电网的情况。

近年来，随着传统水火电厂调频压力的增加，风光新能源参与电网调频成为解决问题的方法之一[11-15]。文献[16]建立了功率响应总偏差、调频里程支出最小化的多目标优化模型，解决了火、风、光、水调频资源的动态功率分配问题。文献[12]针对不同调频源的调频特性，利用强化学习设计多源调频控制策略。利用储能系统响应速度快的特点稳定频率波动，也受到了学术界与工业界的广泛关注[18-22]。文献[23]提出一种分布式协同优化算法，实现了分布式储能汇聚参与调频。上述研究中的多源调频策略考虑到多类型调频源间的协同作用，但通常局限于固定扰动的频率调节方案，缺乏对时序系统的调频策略研究，且较少考虑到调频经济收益。

博弈论是研究冲突对抗条件下最优决策问题的理论，为解决调频经济性问题提供新思路。在电力系统中，将发电个体或控制区域看作博弈的主体，基于合作博弈或非合作博弈进行电力市场运营[24]、需求响应计划[25-26]或频率控制[27]。文献[28]将反馈微分博弈应用在电力系统频率控制中，解决了一二次调频中的冲突反调问题。文献[29]将3个电网控制区域作为博弈主体，通过区域间的合作博弈实现了区域间收益的优化分配。但以上研究局限于研究固定扰动对系统频率的影响，并未设计对实时动态系统的优化。

上述研究改进了调频系统控制策略，优化了AGC调频的准确性或经济性，但并未考虑风、光并网对频率控制的影响。需结合高渗透率新型电力系统的特点，综合考虑多源调频系统的准确性和经济性。

因此，针对多调频源时序协同控制问题，文章提出一种基于S-DNN的多源调频策略。该方法结合深度学习与博弈论思想，充分学习历史频率、负荷与风光渗透率的时序特征，并通过Stackelberg博弈合理分配多源系统调频出力，同时实现减小频率偏差、提高经济性的调频目标。

1 考虑新能源渗透率的改进多层次DNN电网总调频指令决策

新能源发电的并网与负荷的实时变化影响电网频率波动。在正常情况下，各类发电机组生产的电能与各类负荷消耗的电能处于动态平衡，维持电力系统的频率稳定。这需要AGC系统计算区域控制误差（area control error，ACE），决策总调频功率，及时对发电机组发出控制指令。频率控制系统可以描述为

式中：fs为系统函数；x(k)与x(k+1)分别代表系统在k时刻与k+1时刻的状态；u(k)代表系统在k时刻的控制动作；p(k)为k时刻新能源渗透率。x(k)、u(k)、p(k)分别为

式中：e(k)为k时刻系统的ACE；Δf(k)为k时刻系统的频率偏差；l(k)为k时刻的负荷功率；ΔP(k)为k时刻的调频功率控制指令；PW(k)、PP(k)分别为k时刻风电、光伏出力。

考虑到新能源渗透率对于频率控制的非线性动态影响，提出一种具有卷积神经网络-自然梯度提升-最小二乘支持向量机（deep neural network-natural gradient boosting-least squares support vector machine，DNN-NGBoost-LSSVM）的多层次结构模型决策电网总调频功率。

1.1 电力系统模型

为保证电力系统可靠运行，避免功率阻塞，需考虑功率平衡约束与线路传输约束：

式中：Pn(k)为k时刻发电机组输出功率；PL(k)为k时刻预测负荷；Pdis(k)、Pch(k)分别为k时刻储能放电、充电功率。

正常运行的电力系统各节点电压通常在额定电压附近，电压相角差很小，且线路电抗远大于电阻，直流潮流可以简化为

式中：Pij(k)为k时刻节点i与节点j间的线路传输功率；δi(k)、δj(k)分别为k时刻节点i与节点j的相角；Xij为节点i与节点j间线路的电抗。

线路传输约束为

式中：Pijmax为节点i与节点j间线路的最大传输功率。

1.2 DNN模型

在电力系统非线性动态控制问题中，相较于传统的BP神经网络，DNN具有较多的隐含层和复杂的内部拓扑结构，增强其对于系统特征的学习能力与拟合的精确程度[30]。故选取DNN作为模型的预测层，根据电网新能源渗透率、上一时刻的状态与控制动作预测下一时刻的状态。DNN的结构如图1所示，由1个输入层、多个隐含层和1个输出层组成。

图1 DNN的基本结构
Fig.1 Basic structure of DNN

在图1中，I、O分别代表输入值与输出值，h(i)、a(i)分别代表第i个隐含层的输入与输出，W(i)与b(i)分别代表第i个隐含层的权重与偏置。其中，隐含层采用ReLU激活函数，输出层采用Purelin激活函数。

DNN模型根据电网新能源渗透率、上一时刻的状态与控制动作预测下一时刻的状态：

式中：IM(k)、OM(k)分别为DNN模型k时刻的输入值与输出值；(k+1)为k+1时刻状态的预测值。DNN的损失函数为

选择DNN模型作为多层次模型的预测层，充分学习历史状态与渗透率时序特征，输出对下一时刻状态的准确预测。

1.3 NGBoost算法

NGBoost是用于解决概率回归问题的梯度提升算法，通常由多个基学习器构成，这些基学习器按顺序训练，每个基学习器需最小化上一个基学习器集成结果的残差，并根据学习率进行缩放，集成到当前的结果中。相较于XGBoost、LightGBM等集成学习算法，NGBoost使用自然梯度提升，更适用于学习多参数概率分布，故选取NGBoost算法作为多层次模型的评价层，减小DNN模型的预测残差。NGBoost的基本结构示意如图2所示。

图2 NGBoost基本结构
Fig.2 Basic structure of NGBoost

选择正态分布作为概率分布的类型Pθ。评分规则模块选择常用的对数评分：

NGBoost算法迭代的具体步骤如下。

1）输入数据集并设置学习率、迭代次数等超参数。

2） 通过评分规则S在所有迭代样本的响应变量之和，预测参数θ(0)：

式中：M为训练的最大迭代次数。

3） 求解到第n次迭代为止的估计参数θi的自然梯度gi(n)：

式中：IS(θ)表示目标变量y关于概率分布Pθ的费希尔信息量。

4） 计算基学习器的预测值 f (n)：

5） 计算第n次迭代中的比例系数ρ(n)：

6） 更新预测参数θ(n)：

式中：η代表学习率。

选择NGBoost作为多层次模型的评价层，输入DNN层预测结果与新能源渗透率，通过集成学习减小基学习器预测残差，并将集成结果输入决策层。

1.4 LSSVM算法

LSSVM算法是一种改进的支持向量机，能够将二次优化问题转化为线性问题，降低运算成本并提高求解速度。相较于支持向量机、相关向量机、BP神经网络等方法，LSSVM算法具有运算速度快，回归拟合精度高的优势。选择LSSVM算法作为多层次模型的决策层，结合新能源渗透率、DNN预测层与NGBoost评价层的输出结果，得到下一时刻的控制动作。

1.5 基于改进多层次DNN的电网调频指令决策流程

改进多层次DNN模型对电网调频指令的决策流程如图3所示。在9节点系统结构中将原系统的机组替换为含有火、风、光、水、储的多源机组，A点设置时序变化的负荷。多层次DNN模型的3个层次相互联系并按顺序训练。

图3 改进多层次DNN模型对电网调频指令的决策流程
Fig.3 Improved multi-layer DNN model for grid frequency regulation command decision process

1） n个分别训练的DNN弱学习器作为预测层，输入电力系统中电网k时刻的状态值x(k)，即系统的区域控制误差e(k)、频率偏差Δf(k)、负荷功率l(k)；多源机组k时刻的控制动作u(k)，即调频功率控制指令ΔP(k)，以及k时刻的新能源渗透率p(k)。预测层输出下一时刻的预测状态值xˆ(k+1)，并将其输入评价层和决策层。

2） DNN根据损失函数EM(k)减小的方向更新自身的权重和偏置。然后，NGBoost评价层结合新能源渗透率p(k)，对n个弱学习器的预测值xˆ(k+1)进行集成学习，给出预测的评价值J(k)，输入模型的决策层。

3） 由LSSVM决策层结合电网的状态值x(k)与新能源渗透率p(k)，以及前2个网络的输出值xˆ(k+1)、J(k)给出k+1时刻的控制动作指令u(k+1)，即在k+1时刻的调频功率控制指令ΔP(k+1)，并将其输入多源调频机组。依据此流程完成对k+1时刻调频指令的决策，减少电网系统ACE与频率偏差。

2 基于S-DNN的多源调频优化调度

在多源调频系统中，火电、风电、光伏、水电、储能系统具有各自的调频特点与经济性特点。在电力系统运行过程中，应对改进多层次DNN系统发出的总调频指令u(k+1)进行动态调度，在满足频率稳定的同时增加调频经济收益。火力发电作为传统调频能源，调频容量远大于其他新能源调频机组。新能源机组在辅助火电机组进行调频的基础上，也存在利益竞争关系。针对以上特点，本文选取Stackelberg博弈算法，构建S-DNN模型对多源调频系统进行优化调度。

2.1 Stackelberg博弈

在Stackelberg博弈中，假设博弈的主体都是理性的决策者。领导者具有优先决定权，追随者在领导者后做出决定。博弈主体根据当前的形式选择策略，以达到利益的最大化[29-30]。如图4所示，在多源调频中，火电作为传统调频源，调频容量远大于其他新能源调频机组，这符合Stackelberg博弈的基本条件，也符合电网中将火电作为主要调频资源的现实情况。故将火电作为领导者优先做出决策，根据其他调频能源的决策协调利益分配。其他调频能源作为追随者，依据领导者的决策进行同时博弈，最大化自身调频利益。在领导者与追随者间的序贯博弈与追随者间的同时博弈中达到纳什均衡。

图4 多源调频中的Stackelberg博弈
Fig.4 Stackelberg game in multi-source frequency regulation

火电作为领导者，做出的调频决策集记为SL，其中的决策记为sL，s L∈ SL；其他调频源作为追随者，第i个追随者做出的决策集记为SF.i，其中的决策记为sF.i，sF.i∈SF.i。

式中：UF.i(sL, sF.i)为第i个追随者的利润函数；xL为领导者在决策sL下的调频功率；xF.i为第i个追随者在决策sF.i下的调频功率；cF.i为第i个追随者的单位调频成本；P(xL, xF.i)为需求函数，反映商品需求与价格间的关系，可以表示为

式中：C1、C2为需求参量，C1>0，C2>0；NF为追随者的数量。

UF.i(sL, sF.i)可以通过式 （14）、式 （15） 更新为

式中：sF.i'为领导者预测的第i个追随者的最佳决策，∈ SF.i。

由式（16），第i个追随者的最佳调频功率为

根据追随者的最佳决策sF.i'，领导者做出最佳决策(sL′∈ SL)取代之前的决策sL。此时领导者的利润函数为

式中：cL为领导者的单位调频成本。

根据式 （18），领导者的最佳调频功率为

功率平衡约束为

式中：u为总调频指令。

根据式 （19）、式 （20），可以表示为

根据式（26），可以表示为

根据式 （21）、式 （22） 得到领导者和追随者的最佳调频决策。

2.2 多源机组动态响应模型

通过Stackelberg博弈决策优化调频经济性，并分配给各多源调频机组。图5为AGC调频机组的动态响应模型。其中，、 分别为第i个调频机组的输入调频功率指令与输出调频功率，通过频域传递函数的拉普拉斯逆变换得到输出功率。

图5 AGC调频机组的动态响应模型
Fig.5 Dynamic response models of AGC units

2.3 基于S-DNN的多源调频流程

基于S-DNN的多源调频总体流程如图6所示，分为训练过程和测试过程2部分。首先，需要获得多源调频模型参数，如调频里程收益、各类调频源的单位调频成本、调频出力上下限、调频时段等参数；然后，构建多层次DNN模型，设置DNN预测层的隐含层层数、隐含层节点数、训练误差阈值、最大迭代次数，NGBoost评价层的估计器个数、学习率、批尺寸、绝对误差阈值，LSSVM决策层的γ、核函数带宽等参数。

图6 S-DNN多源调频总体流程
Fig.6 S-DNN multi-source frequency regulation overall process

在训练过程中，需要输入包含ACE、频率偏差、负荷功率、新能源渗透率、调频控制指令的历史数据作为训练集，按顺序训练模型的预测层、评价层与决策层。当训练误差大于设定的阈值时，依据反向传播算法更新模型的权重与偏置，直到误差小于阈值或迭代次数大于设定的最大迭代次数，保存模型的参数，完成S-DNN模型的训练过程。

在测试过程中，输入ACE、频率偏差、负荷功率和新能源渗透率作为测试数据，模型会根据实时的数据对参数进行微调，直到迭代次数大于设定的最大迭代次数，输出总调频功率控制指令。然后，基于Stackelberg博弈理论，火电作为领导者根据式 （21） 首先做出决策，风电、光伏、水电和储能调频源作为追随者根据式 （22） 随后做出决策。输出最佳决策集，完成对总调频指令的经济性调度。

3 算例分析

在9节点系统结构中将原系统的火电机组替换为含有火、风、光、水、储的多源调频机组。各调频源的参数设置如表1所示，储能系统的充放电效率ηc、ηd为0.94，容量为14 MWh。

表1 各类调频源的参数设置
Table 1 Parameter settings for frequency regulation sources

类型单位调频成本/(元·(MWh)-1)调频出力上限/MW调频出力下限/MW传递函数参数火电机组61.354100-100 T1=5，T2=0.08，T3=10，T4=0.3风电机组48.88015-15T8=1光伏系统50.63610-10T8=1机组42.48540-40T5=1，T6=5，T7=0.513水电储能系统51.60610-10

使用网格搜索算法优化S-DNN模型参数。设置DNN的隐含层为2层，每层的神经元节点数为300，训练误差阈值为0.8，最大迭代次数设置为300；NGBoost估计器数量为400，学习率为0.01，批尺度比例为0.1，绝对误差阈值为9×10-5。数据的时间分辨率为5 min。

在多源调频模型中，考虑机组出力约束、出力时段约束与储能荷电状态（state of charge，SOC）约束：

向原始的调频模型中输入2400 h的负荷功率曲线与新能源渗透率曲线，负荷波动和新能源发电的不确定性导致电网频率波动，模型输出电网的ACE、频率偏差作为S-DNN模型的训练集，按照损失函数的梯度下降的方向更新网络的权重和偏置，完成对模型的训练。然后输入24 h的负荷功率曲线与新能源渗透率曲线作为测试集，S-DNN模型输出优化后的总调频功率控制指令。

随着风、光并网比例的逐渐增大，在频率控制中需要考虑风、光出力的不确定性，减小其对频率的影响。分别设置新能源渗透率为5%、10%、15%，表2与图7展示了不同新能源渗透率下所提方法与传统方法的对比，使用的模型为文章中提出的S-DNN模型。

表2 不同新能源渗透率下所提方法与传统方法的调频性能对比
Table 2 Comparison of frequency regulation performance between the proposed method and the traditional method under different new energy penetration rates

新能源渗透率方法e /MW Δf /Hz|Δf|max /Hz 5%传统方法86.043 60.045 220.173 6所提方法57.764 10.032 020.101 2 10%传统方法 118.817 10.061 900.236 8所提方法59.238 40.032 270.113 3 15%传统方法 138.900 50.071 850.316 4所提方法63.989 60.034 280.126 8

图7 不同新能源渗透率下传统方法与所提方法ACE对比
Fig.7 Comparison of ACE between the proposed method and the traditional method under different renewable energy penetration rates

表2和图7中展示了新能源渗透率对ACE与频率的影响。采用不考虑新能源渗透率的传统方法时，新能源渗透率从5%提升至10%、15%，ACE平均绝对值分别提升32.773 5 MW、52.856 9 MW；采用考虑新能源渗透率的所提方法时，新能源渗透率从5%提升至10%、15%，ACE平均绝对值分别提升1.474 3 MW、6.225 5 MW。所提方法考虑了新能源并网容量提升趋势下的渗透率特征，减小渗透率提升对AGC调频性能的影响。在下文的研究中，均使用新能源渗透率为15%的情况。

自适应动态规划模型、S-DNN模型与优化前的系统ACE与频率偏差对比如表3所示，ACE曲线如图8所示。

表3 系统ACE与频率偏差对比
Table 3 System ACE and frequency deviation comparison

调频优化方法e /MW Δf /Hz|Δf |max /Hz优化前79.283 50.041 010.219 0自适应动态规划70.639 70.037 180.135 8 S-DNN63.989 60.034 280.126 8

图8 不同模型ACE对比
Fig.8 Comparison of ACE of different models

如表3与图8所示，优化后的模型能够显著减小ACE与频率偏差，其中S-DNN算法的优化性能较好，ACE绝对值e 为63.989 6 MW、绝对频率偏差为0.034 28 Hz、最大频率偏差|Δf|max为0.126 8 Hz，相较于自适应动态规划算法分别降低了9.41%、7.80%、6.63%。

按照模型约束与表1中的参数构建Stackelberg多源调频优化调度模型，输出的总调频功率指令由该模型进行优化调度。在工业实践中，一般按照各场站的总装机容量比例进行调频功率分配，即相同可调容量比例分配 （proportional，PROP）。

当总调频功率指令为70 MW时，2种优化调度方法的结果对比如图9所示。

图9 调频功率分配对比（70 MW）
Fig.9 Frequency-regulated power distribution comparison (70 MW)

从图9 中可以看出，相较于P R O P 方法，Stackelberg博弈优化调度方法减小了火电的出力，增大了其他能源的调频功率，调频的经济成本降低1.35%。

将24 h的负荷功率曲线与新能源渗透率曲线输入S-DNN多源调频模型，模型输出各类型调频源1 d的调频功率曲线，并计算调频成本。为了验证本文提出的模型在优化调度上的优势，选取PROP方法进行对比。图10为2种方法的多源调频功率分配。

图10 多源调频功率分配
Fig.10 Multi-source frequency regulation power allocation

从图10中可得，PROP方法中火电的平均绝对调频功率为42.673 MW，S-DNN模型的平均绝对调频功率为26.606 MW。相较于PROP方法，采用S-DNN模型进行多源调频优化调度会显著降低火电机组的调频功率，并提升其他调频源的调频功率。

为了验证多源调频方法的优越性，设置传统水电+火电调频和PROP多源调频的对比。图11为3种方法参与调频的成本曲线对比。表4为3种方法的平均调频成本与响应时间对比。

表4 平均调频成本与响应时间对比
Table 4 Average cost and response time comparison

模型调频成本/（元 ·h-1）响应时间/s水电+火电调频11 174.38.586 PROP多源调频10 845.66.869 S-DNN多源调频10 075.06.815

图11 3种方法的调频成本曲线
Fig.11 Cost curves for the three methods

从图11中可得，在1 d中的绝大多数时间，S-DNN多源联合调频的成本曲线位于3条曲线的最下方，PROP多源调频位于中间，而传统水电+火电调频的成本最高。由表4可知，水电+火电调频的平均成本为11 174.3元/h，PROP多源调频平均成本为10 845.6元/h，S-DNN多源调频的平均收益为10 075.0元/h。采用S-DNN多源调频的收益比其他2种调频方式分别提升9.838%、7.105%，且平均响应时间最短，相较于其他2种调频方式分别降低20.627%、0.786%。

4 结论

文章将Stackelberg博弈算法和改进多层次DNN网络模型相结合，提出一种S-DNN模型以提高多源调频的控制精度，稳定电网频率并增加调频收益，得到结论如下。

1） 在新型电力系统中，提出考虑新能源并网容量提升趋势下渗透率特征的协调策略，减小渗透率提升对AGC调频性能的影响。

2） 采用Stackelberg博弈算法，将火电作为领导者、其他调频源作为追随者，在主从博弈中达到纳什均衡。相较于PROP方法，调频经济收益提高1.35%。

3） 基于改进S-DNN模型优化调频控制指令，多层次DNN网络结构具有更强的学习能力，可减小负荷与新能源发电功率波动对电网频率带来的影响。与自适应动态规划模型相比，ACE、平均频率偏差与频率偏差最大值分别降低了9.41%、7.80%、6.63%。

4） 相较于传统水-火电调频，多源调频的收益提高9.838%，平均响应时间降低20.627%；相较于PROP方法，S-DNN模型对各类调频源的功率调度更合理，平均经济收益提高7.105%，平均响应时间降低0.786%，进一步提升了多源调频的快速性与经济性。