0 引言

当前可再生能源占比持续增长，能源系统低碳化趋势不断凸显，综合能源系统（integrated energy system，IES）在国内外发展迅速且得到广泛关注[1]。综合能源系统是现有能源供应结构体系的重要补充，能利用多种能源网络的协同作用，满足建筑或园区终端用户的电、热、冷等能源需求，还能实现可再生能源与传统能源的交互耦合，从而有效提高能源利用效率[2]。

为实现综合能源系统的灵活调度和高效运行，需对系统的多元负荷进行精确可靠的预测。近年来，众多学者采用各种方法对综合能源系统负荷预测进行了研究。基于统计分析的负荷预测方法难以处理复杂的非线性负荷数据[3]，支持向量回归、随机森林等机器学习方法能够有效解决统计分析方法非线性特征挖掘能力不足的问题，但传统机器学习方法无法自动学习负荷数据的时间依赖关系[4]。深度学习作为机器学习方法的分支，具有较强的泛化能力和非线性映射能力，适用于综合能源系统多元负荷预测的应用场景[5]；长短时记忆网络（long short-term memory，LSTM）被证明其预测效果基本上优于传统方法和其他网络模型[6]。但单一模型通常会有缺陷，通过组合模型进行优势互补可进一步提升模型的预测精度[7]。卷积神经网络（convolutional neural network，CNN）与LSTM网络的混合模型受到较多关注，其结合了CNN捕捉局部模式和LSTM捕捉序列长期依赖关系的优势，在负荷预测任务中实现了对单一模型的突破[4,8-9]。同样以卷积为核心操作且更擅长时序建模的时域卷积网络（temporal convolutional network，TCN）在负荷预测任务中则体现出更大的潜力[10]。注意力机制可使循环神经网络更加关注与待预测时刻相关的历史信息，提高模型提取时间特征的能力，已被证明在负荷预测任务中改善了LSTM网络的性能[11]。然而当多变量序列间存在复杂的动态依赖关系时，普通注意力机制难以识别协变量间的重要信息，时间模式注意力机制（temporal pattern attention mechanism，TPA）被证明更适合于多变量时间序列预测[12-13]。

为降低数据复杂性、减小负荷强波动性带来的影响，众多学者采用数据分解方法对数据进行处理后再进行预测。如文献[14]、文献[15]分别采用变分模态分解（variational mode decomposition，VMD）和基于经验模态分解的自适应数据分解方法对IES负荷进行分解。

以上方法均针对单一负荷预测问题，但对不同负荷间的耦合相关性及信息共享缺乏考虑[16]。多任务学习（multi-task learning，MTL）框架能充分利用多元负荷之间的相关信息，通过共享层实现模型的参数共享，通过融合损失函数实现结果的相互影响，提高预测精度。如文献[17]通过门控循环单元（gate recurrent unit，GRU）挖掘多元负荷时序特征，采用多任务学习硬共享机制提取多元负荷耦合信息。

基于深度学习方法的综合能源系统负荷预测研究已有较多成果和应用，然而如何通过模型的组合和优化充分发挥模型各单元的优势、弥补单一模型在特征提取上的不足仍需进一步探究。相较于单负荷预测，多元负荷预测的场景更加复杂，需要同时考虑外部影响因素以及内部多能量流的交叉耦合。同时，如何降低多元负荷数据非平稳性以改善预测效果也需进一步讨论。为解决上述问题，本文提出一种基于硬参数共享多任务学习框架的综合能源系统多元负荷超短期协同预测模型，以TCN-TPA-BiLSTM模型为共享层提取多元负荷时间特征和负荷间的相关信息。首先分别对负荷间相关性、负荷与气候因素间相关性、负荷自身时间相关性进行分析，从而确定输入特征。并采取VMD分解方法对负荷数据进行分解以降低数据非平稳性，利用所提模型进行预测。经过模型对比分析证实本模型能够更好地提取变量间相关性和时间依赖关系，具有良好的预测效果。

1 多元负荷相关性与影响因素分析

1.1 数据预处理

选取美国亚利桑那州立大学坦佩校区2020全年校园综合能源系统运行负荷，该数据集包含366 d共8784组电/热/冷逐时负荷数据，选用美国海洋及大气管理局与NASA POWER项目公开的气象信息。

首先采用平滑Z分数（smoothed Z-score）方法来进行异常值的筛选和剔除。Z-score又称为标准分数，用来衡量给定数据点在数据集中的相对位置，其计算公式为

式中：x为单个观测值；μ为观测值所在样本的均值；σ表示样本的标准差。一个观测值的Z-score超过一定阈值时，可将其视作异常点。IES全年运行负荷受气象因素影响，具有较强的季节性，差异较大。因此通过划定一定长度的时间序列窗口，分析该时间范围内的均值和方差，识别异常点，同时将识别出的异常值作平滑处理，避免其影响后续异常值的判断，将窗口遍历整个数据集后识别出全部异常点。根据实际效果，将Z-score的阈值设为2.5，窗口长度设为168 h。剔除所识别异常点后，采用三次样条插值法进行缺失值填补，以获得较为平滑的曲线。

为避免各负荷数据及影响因素量纲不同使预测结果产生误差、提高训练效率，采用归一化将数据映射到0~1之间。归一化公式为

式中：xscale为归一化后的数据；x为原始数据；xmin和xmax分别是样本中的最小值和最大值。

1.2 负荷间相关性分析

为探究运行负荷之间的相关性以及负荷与环境因素之间的相关性，选取Spearman相关系数进行相关性分析。Spearman相关系数能够有效反映随机变量间变化趋势及强度的关联性，可适用于非线性数据的相关性分析，计算复杂度较低，具有一定的鲁棒性，计算公式如下。

式中：ρ为Spearman相关系数；Di表示第i个数据对的位次值之差；n为总的观测样本数。

归一化后的电/热/冷负荷数据散点图如图1所示，可见IES不同负荷间存在一定程度的相关关系。计算综合能源系统的电/热/冷负荷和环境因素间的Spearman相关系数，结果如图2所示。电、热、冷3种负荷两两之间的相关系数分别为-0.74，0.81，-0.90，多元负荷之间的相关性较强，负荷预测应充分考虑负荷间的耦合相关性。通过分析负荷数据与气象因素的相关系数，发现负荷数据在一定程度上受气象因素影响，为使预测模型充分识别到负荷影响因素，还应将干球温度、湿球温度、相对湿度、露点温度、气压作为预测模型的输入特征，同时为了减少模型冗余，省略与负荷相关性较弱的气象数据。

图1 负荷间全年相关关系
Fig. 1 Year-round correlation between loads

图2 Spearman相关系数
Fig. 2 Spearman correlation coefficient

1.3 负荷自相关性分析

校园综合能源系统的负荷具有周期性和规律性，而时间相关性是时序数据预测的重要信息。为解析IES运行负荷的周期变化规律，进而确定负荷预测模型的输入特征，计算了3种负荷不同滞后时长的自相关系数（auto correlation function，ACF）。ACF用于衡量一个时间序列与其自身滞后值之间的关联程度，其取值范围为[-1, 1]，取值的绝对值越大表示相关性越强，取值的正负代表正相关或负相关。其计算方法为

式中：rτ为自相关系数；N为时间序列的长度；τ为时间序列的滞后量；是时间序列的均值。

依次计算1~48 h滞后量的自相关系数，结果如图3所示，图中锥形阴影部分为95%置信区间。3种负荷的时间相关性均呈现出一定的周期性规律，大致以24 h为周期，相关性在一个周期内先减小再增加。t时刻负荷与其后24 h内的负荷数据均存在相关性，且与（t+24）时刻负荷的相关性最强。为了提高预测精度，同时减少不必要的计算负担，选取前24 h的负荷数据作为模型输入特征，以预测未来1 h的负荷。

图3 不同负荷自相关性分析
Fig. 3 Autocorrelation analysis of different loads

1.4 模型特征确定

综合能源系统多元负荷间存在相关性，负荷本身有较强的时间自相关性，同时也受到气象因素的影响。此外，综合能源系统的负荷也会受到用户用能行为的影响，表现为在不同的时间场景下有不同的用能特点，如月份、时刻、节假日等也是影响负荷规律的重要因素[18]。综合以上分析，将模型输入特征分为多元负荷历史数据、气象数据和时间信息3部分。其中多元负荷历史数据指电、热、冷3种负荷前24 h的逐时数据；气象数据包括干球温度、湿球温度、相对湿度、露点温度、气压；时间信息则选取月份（1~12月）、周内天数（1~7）、一天中的时刻（0~23）、是否节假日（0为节假日1为工作日）作为表征时间特征的变量，共同作为模型训练的输入。

2 多元负荷协同预测模型

2.1 时域卷积网络

TCN是一种特别为处理时间序列数据设计的网络结构，能够有效捕捉长距离时间依赖关系，主要结构包括因果卷积、膨胀卷积和残差模块[19]。

图4展示了因果卷积和膨胀卷积的机制。因果卷积使得卷积过程的输出只依赖于输入序列中在它之前时刻的元素，膨胀卷积指卷积过程中采取间隔采样[20]，采样率由膨胀系数d决定，在扩大感受野的同时不增加计算复杂性，便于捕捉更长的依赖关系。对于1维输入x∈Rn和长度为k的滤波器{w1, w2,..., wk}，膨胀卷积运算为

图4 膨胀因果卷积
Fig. 4 Dilated causal convolution

式中：d为膨胀系数；k为卷积核大小；xt-d·i为相应的历史数据。

为避免梯度爆炸和网络退化等问题，通过残差结构实现TCN网络层与层之间的连接。每层卷积层顶部添加ReLU激活函数来引入非线性，每个卷积层后均设置权重归一化和随机失活层。来自上一残差块的输出分别经过1×1卷积操作和2层膨胀因果卷积得到的结果之和输入到下一残差块中。残差结构原理如图5所示。

图5 残差链接
Fig. 5 Residual connections

本文采用多通道TCN网络，利用其卷积操作同时捕捉不同通道时序数据间耦合性和时序依赖关系。还通过设置不同尺度的卷积核大小实现多时间尺度信息提取。

2.2 TPA-BiLSTM网络

LSTM是一种特殊的循环神经网络，用于处理时间序列问题。LSTM通过输入门、遗忘门、输出门、细胞状态等机制，有效解决了简单循环神经网络梯度消失或爆炸的问题。由于LSTM无法编码从后向前的信息，为了捕捉时间序列双向依赖关系，采用双向长短期记忆网络BiLSTM。每层BiLSTM由2个LSTM层组成，分别处理正向和反向的时序数据，将二者的输出拼接后即得到BiLSTM的输出。图6和图7分别展示了LSTM的典型结构单元和BiLSTM网络的机理。

图6 LSTM网络单元
Fig. 6 Unit of LSTM network

图7 BiLSTM网络
Fig. 7 BiLSTM network

经过分解后的负荷模态序列具有各自的特征和周期，难以选取某个时间步作为关注重点[13]，且普通注意力机制难以应对不同负荷模态序列间存在的复杂耦合相关性。为解决上述问题，采取能够同时识别时间维度和不同序列间关键信息的TPA。首先对BiLSTM输出的隐状态进行卷积操作，再使用打分函数确定各时间模式的权值，根据权值大小确定最后的输出[21]。对于BiLSTM输出的隐状态矩阵H=(ht-w, ht-w+1,..., ht-1)，卷积操作采用p个1维卷积核分别对矩阵H进行卷积操作，所得结果组成时间模式矩阵HC，该矩阵包含着不同序列的复杂内在联系以及时序关系。HC中第i行j列个元素的计算公式为

式中：Cj为第j个长度为T的卷积核，T决定能注意的最大长度，通常可取为w。

打分函数的运算过程为

式中：是HC的行向量；Wa为p×m阶权重矩阵（m为隐藏层通道数），αi为注意力权重，σ为Sigmoid函数。m个注意力权重与HiC分别相乘后求向量和得到注意力向量vt，将vt与ht分别作线性变换后相加得最终输出。TPA机制的原理如图8所示。

图8 TPA结构
Fig. 8 Structure of TPA

2.3 硬共享机制的多任务学习框架

多任务学习是指同时学习多个有相关性的任务，共享多个任务之间的参数和特征。学习其他相关任务的知识，可在一定程度上提高模型泛化能力。综合能源系统的负荷数据中存在大量的耦合共享信息，且难以用传统方法提取，多任务学习便能很好地识别和利用复杂共享信息，提升各自任务的精度[22]。考虑到综合能源系统各负荷间相关性较强，采用硬参数共享的多任务学习框架。将多通道特征融合后输入共享层，然后为每个任务设置单独的全连接输出层，将多个任务的损失函数加权求和作为总的优化目标，使多元负荷结果相互影响。本文的模型框架如图9所示。

图9 预测模型结构
Fig. 9 Structure of the forecasting model

3 算例分析

3.1 VMD分解

采用VMD方法对预处理后的电/热/冷负荷进行分解，在分解前需要根据分解效果来确定最佳分解层数K，分解层数过小会导致数据欠分解，使得重要信息丢失，分解层数过大又将导致相邻模态分量中心频率接近，产生频率混叠[23]。同时，合适地选择VMD算法中的惩罚因子λ会减少VMD的迭代次数，提高分解效率，因而还应兼顾λ的选择以进一步优化分解效果。目前研究大多通过观察不同K值下各模态的中心频率分布来确定分解层数[24]，但该方法具有偶然性，且无法确定惩罚因子λ。本文以唐贵基等提出的包络熵[25]为分解效果的判定标准，通过粒子群优化算法[26]对分解层数K和惩罚因子λ进行寻优，确定电、热、冷负荷的最佳分解层数K分别为5、5、8，最佳惩罚因子λ分别为633、595、797。优化过程详见附录A，图A1展示了截取400 h的负荷数据分解情况。

3.2 参数与实验设置

以1.4节所确定的数据作为模型输入特征，为了使模型能够学习到各时间段的负荷规律，将特征与标签按相同规律随机打乱，按照8∶1∶1的比例划分训练集、测试集与验证集。

本文基于网格搜索法确定模型超参数，TCNTPA-BiLSTM-MTL模型各部分参数设置如下：采用4层多通道TCN卷积网络，膨胀系数d=[1, 2, 4, 8]，卷积核大小k=[7, 5, 3, 3]，TCN隐藏层通道数均设为76。TPA机制选取16个不同的卷积核，采用2层BiLSTM网络，每层神经元个数分别为[64, 64]。为平衡不同任务间的学习效果，设置3个任务的权重分别为0.4，0.3，0.3[27]。

为了验证所提模型结构各部分的作用，对比LSTM、BiLSTM、TPA-BiLSTM、TCN-TPABiLSTM、采用多任务学习框架的TCN-TPA-BiLSTMMTL、采用变分模态分解的VMD-TCN-TPA-BiLSTM和VMD-TCN-TPA-BiLSTM-MTL共7种预测模型的预测结果。

采用平均绝对百分比误差EMAPE（mean absolute percentage error，MAPE）和均方根误差ERMSE （root mean square error，RMSE）作为评价指标，计算公式如下。

式中：为预测值；yi为真实值；n为样本容量。

3.3 结果分析与讨论

以EMAPE和ERMSE为评价指标，计算各模型的预测结果如表1和表2所示。模型1—7分别以M1—M7为代号表示。模型1—4的预测结果如图10所示。对比模型1—4，可考察本文模型各组成部分的效果。从结果可知，双向BiLSTM相较于单向LSTM网络会在一定程度上提高模型预测效果。采用双向网络后，电、冷负荷的MAPE分别降低了10.43%和22.69%，但热负荷预测效果有所下降。对比模型2和3，TPA注意力机制的引入使3种负荷的MAPE和RMSE均有所下降，对热负荷预测结果的改善尤为明显。对比模型3和4，在组合了TCN网络、BiLSTM网络和TPA机制后，电负荷、热负荷的MAPE分别降低6.61%和4.40%，RMSE分别降低13.54%和9.22%，冷负荷预测效果区别不大，证明TCN网络的特征提取能力能够在一定程度上改善预测效果。结合模型1—4的预测效果分析，可知所提模型结构设计合理，能够充分发挥各组成部分的作用和优势。

表1 不同模型MAPE对比
Table 1 Comparison of MAPE for different models

MAPE/%电负荷 热负荷 冷负荷LSTM 2.637 7 3.532 5 3.794 7 BiLSTM 2.362 7 4.131 8 2.933 7 TPA-BiLSTM 2.229 6 3.387 7 2.727 6 TCN-TPA-BiLSTM 2.082 2 3.238 6 2.726 3 TCN-TPA-BiLSTM-MTL 2.020 3 2.898 9 2.528 3 VMD-TCN-TPA-BiLSTM 1.084 0 2.098 2 1.885 2 VMD-TCN-TPA-BiLSTM-MTL 0.965 0 1.812 9 1.710 2模型

表2 不同模型RMSE对比
Table 2 Comparison of RMSE for different models

模型RMSE电负荷/kW热负荷/GJ冷负荷/GJ LSTM 682.07 0.471 6 4.087 5 BiLSTM 641.72 0.520 1 3.062 1 TPA-BiLSTM 637.24 0.455 3 2.823 1 TCN-TPA-BiLSTM 550.98 0.413 3 2.984 5 TCN-TPA-BiLSTM-MTL 557.97 0.363 3 3.844 3 VMD-TCN-TPA-BiLSTM 267.61 0.260 2 1.812 0 VMD-TCN-TPA-BiLSTM-MTL 241.89 0.208 3 1.689 2

图10 M1—M4预测结果
Fig. 10 Forecasting results of M1—M4

模型4—7的预测结果如图11所示。对比模型4—7，可分析VMD分解及多任务学习框架的影响。分别对比模型4、6和模型5、7，可知VMD分解能够有效提高预测效果，大幅降低MAPE和RMSE。分别对比模型4、5和模型6、7，可知多任务学习方法会在一定程度上提高模型性能，模型7（本文所提模型）与模型6相比，3种负荷的MAPE分别降低了10.98%、13.60%和9.28%，RMSE分别降低了9.61%、19.95%和6.78%。

图11 M4—M7预测结果
Fig. 11 Forecasting results of M4—M7

为进一步验证本文模型的优势和各组成部分的作用，将BiGRU、TCN、TCN-TPA-BiGRU、CNNBiLSTM及采用自注意力机制的TCN-BiLSTM-self attention模型进行对比。各模型均采用相同的VMD分解方法和多任务学习框架，各模型的主要参数如附录B表B1所示。预测结果如表3、表4及图B1所示。相较于常用循环神经网络模型BiGRU、擅长处理时间序列问题的TCN，以及具有良好时序建模能力的CNNBiLSTM组合模型，本文模型都体现出了明显优势。保持其他结构一致的前提下，采用BiLSTM时3种负荷的预测效果均优于BiGRU网络，证明了BiLSTM网络的有效性。为分析TPA注意力机制与其他注意力机制的优劣，构建采用自注意力机制的模型[11]，结果表明TPA注意力机制比自注意力机制的3种负荷的MAPE分别降低了4.10%、11.16%和21.93%，RMSE分别降低了8.87%、11.98%和14.13%。

表3 相似模型MAPE对比
Table 3 Comparison of MAPE with similar models

MAPE/%电负荷 热负荷 冷负荷VMD-BiGRU-MTL 1.783 3 2.477 4 2.163 2 VMD-TCN-MTL 5.258 6 6.605 0 8.529 4 VMD-TCN-TPA-BiGRU-MTL 1.183 2 2.370 3 2.789 5 VMD-CNN-BiLSTM-MTL 1.228 4 2.479 6 2.330 8模型VMD-TCN-BiLSTMself attention-MTL 1.006 3 2.040 6 2.190 5本文模型 0.965 0 1.812 9 1.710 2

表4 相似模型RMSE对比
Table 4 Comparison of RMSE with similar models

模型RMSE电负荷/kW冷负荷/GJ VMD-BiGRU-MTL 452.96 0.316 8 2.236 1 VMD-TCN-MTL 1 304.58 0.772 0 8.644 6 VMD-TCN-TPA-BiGRU-MTL 296.67 0.256 5 2.506 9 VMD-CNN-BiLSTM-MTL 299.68 0.265 6 2.184 0热负荷/GJ VMD-TCN-BiLSTMself attention-MTL 265.45 0.236 6 1.967 2本文模型 241.89 0.208 3 1.689 2

为分析本文模型与近年较为流行的时序预测模型的优劣，进一步与Transformer、iTransformer、Informer、Autoformer进行对比，同时构建基于图卷积网络（graph convolutional networks，GCN）和BiLSTM的GCN-BiLSTM模型，以对比图神经网络在多元负荷预测任务中的效果。此外，还构建了深度置信网络（deep belief network，DBN）以及包括支持向量回归（support vector regression，SVR）、随机森林（random forest，RF）和极限梯度提升（eXtreme Gradient Boosting, XGBoost）在内的传统机器学习算法模型进行对比。以上模型参数设置见附录B表B1。预测结果如表5、表6所示，部分模型预测结果对比图见图B2。

表5 与其他模型MAPE对比
Table 5 Comparison of MAPE with other models

MAPE/%电负荷 热负荷 冷负荷VMD-Transformer-MTL 1.898 4 3.152 4 3.714 9 VMD-iTransformer-MTL 1.848 9 2.943 2 3.127 1 VMD-informer-MTL 4.318 9 5.841 8 5.729 4 VMD-autoformer-MTL 4.064 7 5.672 8 5.387 7 VMD-GCN-BiLSTM 3.724 9 4.250 8 4.675 3 DBN 6.012 6 7.057 0 9.557 4 SVR 3.706 1 8.845 6 14.263 6 RF 3.813 2 2.788 5 3.775 8 XGBoost 5.295 1 3.180 6 3.719 6本文模型 0.965 0 1.812 9 1.710 2模型

表6 与其他模型RMSE对比
Table 6 Comparison of RMSE with other models

模型RMSE电负荷/kW冷负荷/GJ VMD-Transformer-MTL 498.07 0.362 4 3.350 6 VMD-iTransformer-MTL 406.83 0.444 1 1.999 5 VMD-Informer-MTL 703.96 0.814 6 5.045 0 VMD-Autoformer-MTL 687.97 0.790 1 2.635 9 VMD-GCN-BiLSTM 930.33 0.559 9 5.077 5 DBN 1 919.15 0.891 4 9.527 4 SVR 856.41 0.705 3 10.551 6 RF 657.29 0.484 5 1.735 1 XGBoost 966.48 0.543 0 1.742 8本文模型 241.89 0.208 3 1.689 2热负荷/GJ

从预测结果可看出，在此数据集上，本文模型优于Transformer系列模型表现，DBN模型表现不佳。GCN-BiLSTM及其他机器学习模型也未能超越本文模型的预测效果。通过对比可知本文模型在综合能源系统多元负荷预测任务中具有优势，可起到良好效果。

4 结论

本文考虑了综合能源系统多元负荷间的耦合相关性和时间自相关性，提出了一种基于TCN-TPABiLSTM组合模型和多任务学习框架的IES多元负荷超短期协同预测方法，具体结论如下。

1） 通过Spearman相关系数分析确证了3种负荷间的相关性，筛选出与负荷相关性较强的气象因素；通过自相关函数分析了负荷的时间相关性，为模型特征的构建提供了理论依据。

2） 采用基于包络熵和粒子群优化的VMD分解方法对电/热/冷负荷进行分解，确定电/热/冷负荷的分解层数为5，5，8；经实验证实VMD分解能够有效降低数据非平稳性，提高预测效果。

3） 对模型各组成结构作拆解，验证了所提模型各组成部分的重要性，经过对比分析可知，所提模型结合了TCN和BiLSTM的优势，TPA注意力机制的引入进一步改善了预测效果，弥补了单一模型的不足；而多任务学习框架则充分利用了多元负荷间的耦合信息。

4） 通过将本文模型与当前常用的时序预测方法进行对比，更进一步验证了本文模型的优势，相较于其他模型，本文模型具有更佳的预测效果。

未来的研究中，可进一步对组合模型的结构做出改善，探究如何提取不同时间尺度特征以获得更为全面的时序依赖关系。不同多任务学习框架在多元负荷预测中的效果并未获得系统性评价和对比，如何选择和优化多任务学习框架也是今后要进一步探究的问题。