0 引言

作为电网能源分配的关键环节，配电网连接电力用户和发电企业，其业务决策水平直接影响用户服务质量和企业效益[1-5]。在全球能源互联网建设背景下，高比例新能源和电力电子设备的接入使配电网逐渐成为一个多元主体并存、高度电子化的能源调控系统。为了应对电子装置谐波干扰以及新能源出力随机性给配电网运行带来的挑战，一系列新型配电网业务兴起，包括需求响应、新能源出力预测、多能源优化调度等[6-7]。这些电力业务能够有效提升配电网智能化水平，但其复杂的数据处理流程使业务决策时效性难以保障[8-10]。另外，分布式能量调控、精准负荷控制和远程故障诊断等低时延业务对数据交互的实时性和需求响应有着更高的要求。这些业务需要及时响应和作出决策，以保证业务处理的高效性和系统运行的稳定性。因此，如何降低配电网业务决策时延，助力实现配电网精益化管理，成为当前配电网智能化发展所面临的重要挑战。

数字孪生（digital twin，DT）技术通过对物理实体进行全息映射，而孪生模型是基于DT技术服务需求响应、新能源出力预测、多能源优化调度等业务的数据驱动模型，可根据历史样本数据预测分析未来的业务需求，实现网络态势实时感知和超前虚拟推演[11-13]。将DT技术与机器学习和大数据挖掘技术相结合可以构建业务决策模型，通过迭代模型参数实现最优业务决策的在线学习，可大幅提升配电网实时决策能力。文献[14]采用DT技术构造电网稳定知识模型，实现电网短期趋势预警和运行方式动态推演，支持新能源并网和事故处置的快速决策分析。文献[15]具体分析DT技术在电网中的典型应用场景，并提出基于DT电网构建设备精细化数字模型，实现设备集群化管理与决策。然而，DT模型需要海量业务数据驱动，当前配电网主站资源无法满足DT模型参数训练需求，使DT在配电网低时延业务决策中的实际应用受到阻碍[16]。

将边缘计算与DT技术结合，通过下沉模型训练任务至边缘侧，可大大提升模型同步效率[17-18]。然而，当前边缘服务器的分布式计算资源和模型训练需求分布不平衡，有训练需求的服务器计算资源紧张，而接收不到业务数据的边缘服务器计算资源闲置。边缘协作通过统筹整合边缘侧计算资源可有效解决上述问题。文献[19]通过多边缘服务器协作满足移动用户低时延服务需求，并提出一种启发式服务选择算法优化业务时延性能。文献[20]通过无人机和基站的多级边缘协作快速处理变电站巡检数据，并采用强化学习算法实时规划巡检路线，实现变电站全覆盖自主高效巡检。然而，上述文献没有考虑边缘侧数据传输误码对业务可靠性的影响。在DT使能的配电网业务低时延决策场景中，仍面临以下挑战。

1）全局信息未知。边缘协作决策应根据网络节点、链路信息、到达数据量等时变参数动态调整，然而实际工作中考虑到终端频繁交互的信令开销，全局信息难以获取，造成协作决策优化问题不确定性大。

2）协作决策的耦合。边缘服务器业务数据时效性不仅与自身协作决策有关，还和其他服务器的决策相关，边缘协作决策的耦合造成最优决策的计算复杂度随服务器数量呈指数增长，使决策优化变成NPHard问题。

3）业务决策精确性与时效性的矛盾。业务数据边缘协作处理能有效提升业务决策时效性，然而业务数据传输误码使业务决策模型训练误差增大，因此决策优化需要权衡两者影响，在优化决策时延的同时保证决策精度。

强化学习（reinforcement learning，RL）算法通过构建智能体与环境的交互框架[21]，将边缘协作描述为一个马尔可夫决策过程（Markov decision process，MDP），能够高效解决全局信息未知的情况下协作决策的优化问题。作为一种RL算法，Q学习采用贪婪策略选择Q值最大的动作，具有快速收敛的特点，因此被广泛应用于各种序列决策问题求解[22]。文献[23]提出了一种基于Q学习的任务卸载方法，以任务处理速率加权和为优化目标，制定最优任务卸载策略。然而，该方法未考虑任务卸载可靠性，这是衡量卸载策略优劣的重要指标。文献[24]通过联合优化卸载决策和资源分配来降低任务卸载时延与能耗，提高系统可靠性。然而，该文献没有对资源冲突时卸载决策如何优化加以深入研究。

针对上述问题，本文提出面向数字孪生配电网的低时延业务决策方法。首先，构建配电网低时延业务决策框架，利用边缘协作提升配电网DT模型的训练效率，实现配电网场景的高精度实时同步。其次，考虑复杂网络环境带来的信息不确定性与边缘协作策略之间的耦合，提出基于双向贪婪演进的边缘协作决策算法，利用Q学习对配电网DT模型训练时延和误差加权和最小化问题进行优化，并基于贪婪策略解决协作冲突问题。

1 系统模型

1.1 系统模型

本文提出的面向数字孪生配电网的低时延业务决策框架如图1所示，框架从下至上包含设备层、传感层、边缘层和孪生层[25]。设备层包含配电网主体运行设备，包括分布式光伏、风机、可控负荷、充电桩、储能站等。传感层中部署在设备侧的传感装置采集设备运行和业务需求相关数据，驱动孪生模型训练与运行决策。边缘层包括远程服务器和本地服务器，本地服务器负责接收和处理传感层上传的模型数据，集 合为D={d1 ,… , d m ,… ,dM}；远 程服 务器 提供空闲计算资源协助本地服务器进行模型训练，集合为S={s1 ,… , sn ,… ,sN}。服 务 器 之 间 通 过 电 力 光通 信 网G=(V,E)相连接，其中网络节点集合和链路集合分别为V={v1 , … ,vi , …,vI}和E ={ei ,i ' |vi , vi '∈V}。孪生层中的云服务器为边缘层服务器提供协作决策，同时接收并聚合边缘层上传的本地模型参数，构建业务决策全局模型。

图1 面向数字孪生配电网的低时延业务决策框架
Fig. 1 Low delay service decision framework for digital twin distribution network

本文引入准静态时隙模型，本地模型参数和协作决策在单一时隙内不变，在不同时隙内时隙间动态变化，时隙集合为T={1,…,t,…,T}。定义边缘协作决策变量X m,n(t)∈{0,1}，其中n =1,2,…,N，X m,n(t)=1代表dm将模型数据传输至sn进行协作训练，否则X m,n(t)=0。由于本地服务器同时选择多个远程服务器协作处理可能出现数据训练分散等情况，导致数据传输精度低、计算资源配额不足等问题，因此本文模拟资源紧张时的竞争冲突场景，假设本地服务器仅选择一个远程服务进行协作处理，提升模型训练精度和效率；同时，受限于自身的数据并行接收与处理能力，远程服务器最多接受一个本地服务器的协作请求，即

1.2 边缘训练损失模型

本地服务器与远程服务器在t时隙初对t-1时隙的全局业务决策模型参数进行下载，并将其作为边缘模型参数，即ϖm (t - 1) = ϖg( t -1)。局部模型进一步对全局模型参数进行更新，且局部参数更新需服从全局参数，时隙t内本地服务器dm接收到的训练模型数据集合为Am (t ) ={ Am , j(t)}，包括Jm个数据样本，即J =1,2,…,Jm，则边缘服务器对Jm个数据样本进行训练的平均损失函数表示为

式中：αj、βj表示样本数据Am,j的输入和输出。损失函数能够反映出局部模型的精度，由于存在Jm个数据样本，可采用平均损失估计反映所有参数的训练情况，并指导参数ϖm(t)的更新，即

式中：μ为更新率；损失函数梯度∇ Lm (ϖm( t -1),t)表示Jm个参数训练的平均损失。

1.3 边缘协作损失模型

光网络交换设备工作存在一定的不稳定性，且电力通信网部署环境复杂，因此，模型数据在转发的过程中容易产生误码现象。定义每个节点的数据损失概率为pi(t )，则时隙t内dm传输模型数据过程中发生误码的概率为

式中：Rm,n表示dm和sn之间的光通信路径。

定义损失指示变量为am (t )∈[0,1]，用于表示传输过程中是否发生误码，即

1.4 全局聚合损失模型

当所有本地模型完成训练后，云服务器将执行全局模型聚合，从而获得配电网业务决策的全局模型，聚合公式为

式中：Nm代表本地模型数据的固有权重，用于表示其对于配电网业务模型训练的重要程度，例如储能容量越大，其权重也应该更大。

全局模型聚合的平均损失函数表示为

式中：表示完成训练样本数据的总数量。

此外，引入异常模式识别机制 （abnormal model recognition，AMR） 避免因传输出错导致的模型失准问题，即比较训练完成后的损失函数与基于检验集测试的损失函数，从而验证是否存在误码现象。给定测试集Atest(t)，针对训练集Am(t)，经过检验后的损失函数为

利用测试集Atest(t)，基于参数ϖg(t-1)经过检验后的全局损失函数为

通过比较Lm ,test(ϖm (t),t )和Lg ,test(ϖg(t -1),t )进行异常检验，若其差值超过阈值，则认为对应的样本数据发生误码。此外，最终全局聚合损失与误码率成正相关关系[26]，因此，为降低全局聚合损失，同时应当避免传输过程中的误码现象。

1.5 训练时延模型

受限于本地训练资源，样本一部分选择本地训练，另一部分则传输至其余远程服务器进行训练。传至远程服务器的训练模型数据集合表示为Bm(t)，且同时满足Bm(t)≠∅和Bm (t) ⊂ Am(t)。

时隙t内dm进行业务决策本地模型训练的时延为

式中：fm(t )表示dm的计算资源；ξm为dm上模型数据的训练复杂度；Dm ,j(t )表示每个数据样本的大小。时隙t内dm与sn协作进行模型训练的时延为

式中：fn(t )表示sn的计算资源；Bi ,i'(t)表示光通信链路ei,i'所能提供的链路带宽，具有不确定性，与当前网络负载相关。

当所有局部模型训练完毕时，才能够进行全局模型的聚合，因此，全局模型聚合总时延为

1.6 优化问题

为了实现配电网业务决策时效性和精度的联合优化，本文将优化问题构建为在满足本地与远程服务器协作数量约束的基础上最小化配电网业务决策全局模型聚合时延和损失函数的加权和，即

式中：ψ用于衡量时隙t内全局训练模型损失函数所占权重；C1表示一个本地服务器只能选择在本地进行训练或传输至远程服务器进行协助训练；C2表示一个本地服务器最多只能选择一个远程服务器协作处理业务数据；C3表示一个远程服务器最多接受一个本地服务器的协作请求；C4表示传至远程服务器的训练模型数据集约束。

2 基于双向贪婪演进的边缘协作决策算法

2.1 MDP过程

边缘服务器具有信息的不对称性和网络状态信息的不确定性，让本地服务器完整获取当前全局状态信息是不现实的。因此，服务器需要根据本地信息优化边缘协作决策。首先，将P1转化为MDP过程，包括状态、动作、奖励3部分。

1）状态：状态向量由本地服务器业务数据样本大小、本地数据模型训练复杂度、本地计算资源，以及上一时隙的边缘协作决策和传到远程服务器的训练模型数据集合组成，即

2）动作：动作向量由任务数据卸载以及所卸载的样本数据组成。为简化模型，降低决策空间大小，随机选择bm (t )个样本数据进行边缘协作训练，且满足1≤bm (t) ＜ J m。因此，动作向量可表示为

式中：xm (t ) ∈{0 ,1,… ,N}，xm (t )= n 等价于X m,n(t)=1，动作决策空间大小为N(Jm-1)。

3）奖励：本地服务器在时隙t内的奖励为本地模型对全局模型聚合效率和精度的贡献度，表示为dm自身训练时延和损失函数加权和的倒数，即

2.2 算法步骤

该算法利用强化学习算法在全局信息未知情况下出色的学习能力，并在此基础上通过检测服务器协作决策冲突避免本地服务器资源竞争，能够有效解决配电网业务决策精度和时效性的联合优化问题。该算法可分为4个阶段。

1）初始化阶段：初始化Dm ,j(t )、X m,n(t)和Bm(t)，同时初始化本地服务器的Q值Q (S m (t ), Wm(t))，每个服务器根据Q值与状态-动作对之间的映射构建Q表。

2） 动作选择阶段：本地服务器观察第t时隙状态向量Sm(t)中的信息，根据Q表采用ε-greedy策略选择Q值最大的动作。然后每个本地服务器dm∈D根据当前动作向目标远程服务器发出协作请求。

3）冲突检测阶段：远程服务器Sn接收到多于一个的协作请求时，基于贪婪策略对本地服务器请求进行反选，接受当前时隙内Q值最大的协作请求；被驳回的本地服务器根据Q值排列顺序由大到小向其他远程服务器发出协作请求，重复上述过程，直到所有本地服务器的协作请求均被接受。

4）学习阶段：所有本地服务器根据现有协作关系进行业务决策本地模型训练，通过t时隙末的参数状态更新t+1时隙初的参数状态，并转移到下个状态，本地服务器根据当前时隙获得的奖励值更新Q表。本地服务器dm的Q值更新公式为

式中：ζ为学习率；γ为折扣因子，用于衡量未来收益期望对现在动作选择的影响程度。

2.3 算法复杂度分析

第t个时隙内算法的计算复杂度由动作选择阶段、冲突检测阶段和学习阶段3部分组成。其中，在动作选择阶段，本地服务器需要对N(Jm-1)个动作的Q值降序排列，本文采用快速排序算法，其时 间 复 杂 度 为在冲突选择阶段，远程服务器最多需要进行N(N-1)/2次冲突检测，因此，计算复杂度为O(N(N-1)/2)；在学习阶段，N个本地服务器更新Q值，计算复杂度为O(N)，因此，算法计算复杂度为

3 仿真分析

3.1 仿真参数设置

本文所考虑的配电网业务低时延决策场景中电力通信网络采用同步数字体系传输业务数据，配置STM-4，拓扑结构如图2所示。场景包含10个本地服务器和15个远程服务器进行DT模型的边缘协作训练。本文采用MINIST数据集训练本地业务决策模型，其包含104个测试样本和6×104个训练样本[22]。每个本地服务器在时隙初从中抽取若干数据样本，数据样本数量Jm服从泊松分布P(λm)，其中λm表示均值。dm的训练损失函数定义为所有样本目标输出βj与实际输出的均方误差，即

图2 电力光通信网拓扑图
Fig. 2 Topology diagram of power optical communication network

仿真参数设置如表1所示。

表1 仿真参数
Table 1 Simulation parameters

参数 值 参数 值T 200 ψ0.2 m,j() [30, 60] Kbit pt Bi,i' [6.22, 62.2] Mbit/s D t i() [0.3, 0.8] % ξm 800 CPU cycles/bit ft m() 16 GHz ft n() 128 GHz ζ 0.1 γ0.99

本文将所提算法与具有一定创新性的2种业务低时延决策算法进行对比：第1种为RSD算法[27]，该算法不考虑双向贪婪演进，远程服务器随机接收当前时隙内到达的协作请求，采用Q学习算法优化协作决策；第2种为GSD算法[28]，该算法学习未知网络状态信息，本地服务器采用ε-greedy策略进行业务决策模型的协作训练。

3.2 仿真结果分析

图3展示了全局损失函数随时隙变化情况。仿真结果表明，随着时隙数量的增加，所提算法的全局损失函数下降最快，RSD次之，GSD最差。在第200时隙时，所提算法全局损失函数相较于RSD和GSD分别降低46.34%和72.64%。其原因在于，所提算法在进行业务决策模型协作训练时考虑双向贪婪演进，使对全局模型贡献大的本地模型能够选择业务损失概率更小的网络路径传输数据。而RSD算法没有进行远程服务器的贪婪反选，对全局模型贡献大的本地模型在资源竞争中优势不明显，GSD未考虑网络状态的动态学习和模型协作决策的耦合关系，本地服务器根据历史经验采用ε-greedy选取偏好值最大的路径，容易造成数据拥塞，因此优化效果最差。

图3 全局损失函数随时隙变化
Fig. 3 Global model loss function varies with time slots

图4展示了全局模型聚合总时延随时隙变化情况。仿真结果表明，相较于RSD和GSD，所提算法的全局模型聚合总时延分别下降41.46%和70.15%。其原因在于，所提算法通过本地服务器与远程服务器的双向贪婪演进使聚合时延小的本地模型在网络资源竞争中取得优势。RSD中远程服务器随机解决模型协作训练请求冲突，未考虑本地模型聚合时延性能对全局聚合时延的影响。GSD算法无法解决资源竞争问题，因此模型聚合时延最高。

图4 全局模型聚合总时延随时隙变化
Fig. 4 Global model aggregation total delay versus time slots

图5展示平均奖励值随本地服务器数量变化情况。仿真结果表明，随着需求服务器数量增加，业务决策模型协作训练需求增大，业务竞争程度趋于剧烈，从而导致奖励值下降。本地服务器数量为20时，所提算法的奖励值相较于RSD和GSD分别提高25.48%和44.65%。其原因在于所提算法通过双向贪婪演进合理解决了需求服务器网络资源竞争的问题，RSD未考虑远程服务器对本地服务器的贪婪反选，难以保证平均奖励值高的本地服务器获得最优网络资源，GSD未考虑本地服务器资源竞争，因此平均奖励值最低。

图5 平均奖励值随本地服务器数量变化
Fig. 5 The average reward value versus the number of local servers

图6展示了全局模型聚合总时延随远程服务器数量的变化情况。仿真结果表明，3种算法的全局模型聚合总时延均随远程服务器数量的增加而减小。与RSD和GSD算法相比，所提算法能大大缩短全局模型聚合总时延，这是因为所提算法采用双向贪婪演进，使远程服务器选择最优的本地服务器请求进行协作，加快本地模型训练完成时间，进而缩短全局模型聚合时延。RSD算法随机接收当前时隙内的请求，容易发生资源冲突，因此全局模型聚合时延降低效果不明显。远程服务器数量为60台时，相较于RSD和GSD，所提算法的全局模型聚合时延分别降低了52.27%和62.50%。

图6 全局模型聚合总时延随远程服务器数量变化
Fig. 6 Global model aggregation total delay versus the number of remote servers

图7展示了数据误码率随本地服务器数量的变化情况。仿真结果表明，随着本地服务器数量的增加，3种算法的数据误码率均有所增加，然而GSD的数据误码率增加最快，RSD次之，所提算法最慢。当本地服务器数量为30个时，与RSD和GSD相比，所提算法的数据误码率分别降低了51.39%和60.67%。其原因在于，所提算法考虑了边缘训练、边缘协作以及全局训练损失模型，利用Q学习对配电网DT模型训练时延和损失函数加权和最小化问题进行优化，充分考虑数据误码率对业务决策的影响，并通过双向贪婪演进显著提升了数据训练及模型聚合的准确度和可靠性。

图7 数据误码率随本地服务器数量变化
Fig. 7 Data bit error rate versus the number of local servers

图8展示了计算复杂度随本地服务器数量的变化情况。仿真结果表明，随着本地服务器数量的增加，GSD算法的计算复杂度上升速率最快，RSD次之，所提算法最慢。这是因为GSD学习未知网络状态信息，RSD易引起资源冲突，导致本地服务器越多计算越复杂，而所提算法采用快速排序算法对本地和远程服务器的动作Q值降序排列，通过双向贪婪演进降低服务器协作时发生冲突的概率，大大降低了计算复杂度。当本地服务器数量为40个时，与RSD和GSD算法相比，所提算法的计算复杂度分别降低了52.63%和80.43%。

图8 计算复杂度随本地服务器数量变化
Fig. 8 Computation complexity versus the number of local servers

图9展示了全局模型损失函数和全局模型聚合时延随权重ψ的变化情况。仿真结果表明，随着ψ的增大，所提算法越来越关注全局模型损失函数而忽略业务决策时延性能，此时全局模型损失函数会逐渐降低，全局模型聚合时延会适当增加。因此，本文在进行业务决策模型协作训练时考虑双向贪婪演进来实现全局模型损失函数与全局模型聚合时延的有效折中，当ψ从0.1增加到0.2时，所提算法的全局模型损失函数下降0.15，全局模型聚合时延提高8ms，显然ψ为0.2的时候，全局模型损失函数下降最多，全局模型聚合时延增加最少，为实际应用中ψ参数值的设置提供了参考。

图9 全局模型损失函数和全局模型聚合时延随ψ变化
Fig. 9 Global model loss function and global model aggregation delay with ψ

4 结论

针对配电网业务数据处理流程复杂而导致的业务决策时效性难以保障问题，本文采用DT技术构建业务决策模型，并提出面向数字孪生配电网的低时延业务决策框架，通过边缘协作进行本地模型训练和全局模型聚合。在此基础上，提出一种基于双向贪婪演进的边缘协作决策算法，在避免资源冲突的同时实现配电网业务决策时效性和精度的联合优化。相较于RSD和GSD算法，所提算法的全局损失函数大小分别降低了46.34%和72.64%，全局模型聚合总时延大小分别降低了41.46%和70.15%。未来研究中，将进一步考虑配电网业务决策的安全性以及多尺度跨域业务数据决策的优化，研究更安全高效的业务决策方法。