0 引言

随着能源短缺和全球气候变暖等问题的日益严重，中国提出了“碳达峰”与“碳中和”的能源战略[1-2]，为了能够实现可再生能源消纳并全面提升能源利用效率和经济性，综合能源系统应用的相关研究得到了全球范围内的广泛关注[3-9]。

综合能源系统（integrated energy system，IES）是通过能源联产设备、储能设备、能源转换设备等共同建立起的电、热、气等多能协同联供系统[10-11]。文献[12]构建了包括燃气锅炉（gas boiler，GB）、热泵、微型燃气轮机等能源耦合设备在内的考虑电、热、气等多能协同互补的综合能源系统，并以综合供能成本最小化作为目标函数，建立了综合能源系统经济调度模型。文献[13]以热电联供机组（combined heat and power，CHP）为能源耦合的核心设备构建综合能源系统的供能结构及设备模型，有效提升能源协同利用的效率。

随着“双碳”政策倡导，在综合能源系统的模型构建中逐步考虑系统的低碳性目标[14-16]。文献[17]构建了考虑环境成本、用能成本的多目标综合能源调度模型，综合提升系统运行经济性与环境友好性。文献[18]围绕碳排放环境约束问题展开综合能源系统模型研究，引入了单一碳价的碳交易机制促进能源利用低碳化。文献[19]设置具有不同碳交易量区间价格的阶梯碳交易机制，通过碳排放权的配额及交易来提升综合能源系统经济运行过程中的低碳性。虽然上述研究考虑电转气 （power-to-gas，P2G）、碳捕集 （carbon capture and storage，CCS） 等设备降低碳排放的能力，但是忽略了P2G中氢能的利用过程，未能充分发挥氢能在耦合关系中的作用，也无法满足实际中的低碳与高效供能的要求。同时，传统阶梯型碳交易机制也存在一定的局限性，其设置了不同碳排放量区间并设定不同的定值，这与实际碳交易过程不同，无法通过线性累积的碳交易成本来充分引导综合能源系统降低碳排放。

由此，综合能源系统模型在构建上不断深化，优化目标也更加多元化，这都将进一步提高综合能源系统模型的复杂程度[20]。现如今，已有较多的方法被应用到综合能源系统的经济调度求解问题中，例如传统的启发式算法[21-24]。文献[23]利用启发式算法求解考虑经济性与环保性多目标的电热冷多能协同系统运行优化问题；文献[24]则针对当前工业园区综合能源系统能量管理协调性和经济性较差的问题，提出了考虑供能可靠性的综合能源系统能量管理方法。然而，[21-24]中的算法显然存在一定的局限性：一方面是由于场景复杂度的增加使其无法避免地陷入局部最优解；另一方面是其需要较高的计算成本，且随着求解调度场景的数量增多，其计算成本将不断累积，无法满足调度场景的实时性需求。

而深度强化学习算法具有天然优势，其通过与环境的交互能够训练得到具有采取优质动作策略的智能体，并具有决策动作快速性[25]。同时如深度Q学习、深度确定性策略梯度(deep deterministic policy gradient,DDPG)和多智能体DDPG等算法也已经被初步应用于综合能源系统经济调度问题中，在实时性与最优性方面具有明显的应用优势[26-27]。但是，文献[25-27]中所采用的深度强化学习算法使用了无序性的高斯噪声，这种方式难以适应于风光荷等时序性随机数据，因此相关算法在探索效率方面仍具有一定的提升空间。

因此，本文提出了基于改进深度确定性策略梯度算法的考虑PCH联合模型与改进碳交易机制的综合能源低碳经济运行策略。

1） 在低碳设备模型构建方面，提出了一种基于P2G-CCS-HFC的PCH联合模型，分析了其电-气-氢能源与碳捕获的耦合关系，并引入氢能分配率决策变量以更好地把握减碳能力与能源高效供应的平衡关系，实现系统能源清洁利用与减碳能力。

2） 在减碳机制设计方面，提出了一种改进阶梯型碳交易机制，以线性化的方式代替传统阶梯型碳交易机制中的定值设置，并在不同区间内设置不同的增长斜率，从而使碳排放因素引导综合能源系统调度策略更具低碳性及经济性。

3） 在算法设计方面，利用混合噪声机制来改进DDPG算法，使其能够自适应于低碳综合能源系统中源荷不确定性，进而提高DDPG算法在低碳综合能源系统调度环境中的探索效率与收敛速度，同时保证其调度策略的实时性和最优性。

1 基于PCH联合模型与改进碳交易机制的综合能源系统低碳经济运行的数学模型

1.1 PCH联合模型构建

电转气设备的电-气能源耦合过程是以氢能作为中间产物，为了提高氢能的利用效率并降低P2G的能源耦合程度引入氢燃料电池 （hydrogen fuel cell，HFC）作为清洁电能、热能的供应环节。碳捕集系统能够捕捉系统中排放的二氧化碳，并将其作为P2G设备实现电-气能源转换的重要输入原料。本文根据P2G、CCS、HFC之间具有的能源耦合关系构建了能够实现电-气-热能源转换、氢能高效利用与降低IES系统碳排放的PCH（P2G-CCS-HFC）联合模型，其框架结构如图1所示。

IES系统内燃气锅炉在能源生产与供应过程中会产生大量的碳排放，而这些排放的碳将经过CCS处理后实现一定程度的捕获，从而降低IES系统整体的碳排放。而P2G实现电转气的过程是首先利用电解槽（electrolyzer，EL）电解水生成氢气，然后利用甲烷反应器（methane reactor，MR）实现氢气与CCS捕获的碳结合进而转换为甲烷（天然气）。氢气作为EL产物不仅是作为MR的输入实现电-气能源耦合，同时还能够作为HFC的输入实现清洁能源的高效利用与零碳供应电能、热能。为方便表达，本文所有表达式中对于气体的单位将以能量的形式进行表达。PCH联合模型中各设备具体表达式见附录A。

根据上述对P2G、CCS、HFC三者之间的耦合关系进而将其重构为PCH联合模型，其输入为电能Pp ch,e(t )与碳排放量Pp ch,co2(t )，其输出为天然气Pp ch,g( t)与热能Pp ch,h(t )，氢能转换的中间环节中设置氢能分配率α来平衡天然气与热能的输出关系。

PCH联合模型的天然气与热能输出之间的关系与氢能分配率α存在紧密联系，其表达式为

当α为0时，PCH联合模型的天然气输出为0，此时PCH停止固碳过程，全部氢能供应于氢燃料电池以实现能源清洁利用并供应热能；当α为1时，PCH联合模型的热能输出为0，此时PCH中氢能全部应用于电-气能源转换；当α从0到1时，随着氢能分配率增大，PCH模型的固碳能力逐渐增强，而能源供应将逐渐降低。

1.2 改进阶梯型碳交易机制

综合能源系统中赋予产能设备碳排放配额，当系统具有多余碳排放配额时可通过碳配额交易实现减排效益经济化，当碳排放超额时，以经济成本为代价购买碳排放配额。通过碳交易过程促进综合能源系统主动降低碳排放以实现更大的经济效益。

碳排放配额的初始设置主要考虑：通过燃烧天然气获得二次能源的CHP设备以及上级电网生产电能的火电厂燃煤机组。因此，可将综合能源系统中的碳排放配额表达式写为

式中：E IES( t)为t时刻I E S系统具有碳排放配额；E e (t )、E g(t )分别为t时刻IES系统购买电能与CHP设备燃烧天然气所具有的碳排放配额；τ e、τ g分别为电与天然气的碳配额系数。

而本文构建的PCH联合模型通过将二氧化碳转化为天然气的方式实现碳减排，因此在一定程度上能够降低综合能源系统中的碳排放。在PCH联合模型中，CCS设备的固碳功率与PCH模型的碳减排直接相关，风电、光伏等可再生能源发电以及上级电网将供应PCH联合模型的电能需求，而可再生能源的碳排放忽略不计。综合能源系统的碳排放模型表达式如下：

式中：E pch( t)为t时刻PCH模型所具有的碳固定量；a1、b1、c1和a2、b2、c2分别为火电厂燃煤机组（视为上级电网的发电机组）和燃气设备CHP的碳排放计算参数。

综上可求得综合能源系统中的实际参与碳交易市场的碳排放权，其表达式如下：

式中：Et rade(t )为t时刻碳排放权的交易量。

碳交易机制的设计采用改进阶梯型碳交易机制，如图2所示。随着碳排放权交易量的不断增加，碳排放权的定价将阶梯式增加，从而使得碳排放交易总价逐渐升高，IES系统需要通过付出经济代价来补偿碳排放超额。其表达式为：

式中：wc (t )为碳交易成本；λ为碳交易基价；l为碳排放量区间长度；ρ为碳交易价格的惩罚增长系数；q为碳交易价格的奖励增长系数。

本文所提出改进阶梯型碳交易机制与传统阶梯型碳交易机制和碳基价机制相比具有如下优势。

1）传统阶梯型碳交易机制以呈完全阶梯型分布，在各碳排放量区间内为定值，而所提机制以线性化的方式代替定值，并在不同区间内具有不同的增长斜率，由此改进了碳交易成本的设计。

2）碳基价机制不对碳排放量进行区间划分，而以单一斜率计算碳交易成本；而所提机制能够实现价格变化幅度的递增。由此，随着碳排放量的增长，其碳交易成本发生非线性增长，从而促进了综合能源系统整体运行碳排放成本的降低。

1.3 综合能源系统的低碳经济运行数学模型

综合能源系统场景中包含具有固碳能力的PCH联合模型、电热能源供应的热电联供机组 （combined heat and power，CHP）、电热能源转换的电制热设备（heat pump，HP）、储电设备 （battery energy storage,BES） 与储热设备（heat energy storage，HES），还包括可再生能源机组PV和WT，结构图如图3所示。综合能源系统中的设备间协作运行以满足用户的能源需求。由此进一步构建综合能源系统低碳经济运行的数学模型。

1.3.1 目标函数

综合能源系统从气网和上级电网中购买电能、气能，进而通过系统内的耦合设备进行能源的变换以实现电热能源的供应。因此，针对IES系统构建了与气网的交互成本wg as(t )、与上级电网的交互成本wg rid( t)、系统整体运行的碳交易成本wc arbon(t )、PCH设备的售气利润wp ch(t )的总运行成本最小化的低碳经济运行目标函数为

式中：Pb uy,e (t )、 P s ell,e(t )分别为与上级电网的购电、售电功率；εb uy,e (t )、 ε sell,e( t )分别为购买电能的实时电价与售卖电能的实时电价；Pc hp,g(t )为CHP设备的天然气功率，εg( t )为IES与气网之间的购气价格。

1.3.2 约束条件

1）CHP设备约束：

式中：Pc hp,e(t )、Pc hp,h(t )、Pc hp,g( t)分别为t时刻CHP的电功率、热功率、气功率；为CHP的能源转换效率；Pc hp,g,min、 P chp,g,max分别为CHP的气功率下限和下限，∆Pchp,g,ramp为CHP的爬坡功率限值。

2）HP设备约束：

式中：Ph p,h(t )、Ph p,e(t )分别为HP的热功率、电功率；ηhp为HP的转换效率；Ph p,h,min、 P hp,h,max为HP的热功率下限和上限。

3）储能设备约束：

储能设备包括储电设备与储热设备，可以采用如下通用表达式：

式中：Bi ( t +1)、B i (t )分别为t+1时刻、t时刻储能设备i的储存容量；ηi , ch、 η i ,dis分别为储能设备i的充放效率系数；Pi ,ch (t )、 P i ,dis (t )分别为储能设备i的充能功率和放能功率；Pi ,ch,min、 P i,ch,max分 别为储能设备i的充能功率下限和上限；Pi ,dis,min、 P i,dis,max分别为储能设备i的放能功率下限和上限；∆t为调度时段间隔。

4）能源供需平衡约束：

式中：Le (t )、 L h (t )、 L g (t )分别为电负荷、热负荷、气负荷。

5） PCH联合模型的约束条件在1.1节中已进行详细描述。

2 基于改进DDPG算法的综合能源系统低碳经济运行策略

为了应对含PCH联合模型的综合能源系统在实际运行中的复杂性，需要一种更为先进且能够自适应源荷不确定性的算法来优化相应的运行策略。而深度强化学习（deep reinforcement learning, DRL）智能体具有与环境进行交互的能力，其能够通过采取动作A与环境实现自主交互，而环境又能够对智能体所发出的动作指令反馈奖励信号并改变当前的状态。基于此，智能体能够进一步根据环境反馈的奖励信号与状态转移基于自身决策策略π选取动作，从而实现智能体与环境两者间的不断交互。这种能力使得DRL特别适合被应用于IES这样的复杂、动态且具有高度不确定性的场景。

然而，现有的DRL算法仍然存在局限性，其收敛能力面临一定挑战，特别是在复杂的IES调度策略中。因此，本章将对现有的DDPG算法进行改进：通过引入混合噪声机制，改进DDPG算法能够更好地适应IES中的源荷不确定性，提高算法的探索效率与收敛速度，从而确保IES调度策略的实时性和最优性。

2.1 基于混合噪声机制的改进DDPG算法原理

2.1.1 DDPG算法理论

DDPG算法是Actor-Critic框架与DQN算法的融合，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度。DDPG算法设置有Actor中的策略网络及其目标网络、Critic中的价值网络及其目标网络。策略网络根据状态输入选择动作，价值网络对策略网络所选择的动作进行评价。

训练过程中Critic价值网络与Actor策略网络的参数不断更新，Critic价值网络更新方法是最小化均方差损失函数L，而Actor策略网络的更新方法是最大化Q值函数，两者皆采用梯度下降方法对网络参数进行更新。

式中：ω、 θ为Critic网络和Actor网络参数。

进一步采用软更新方式更新Critic目标网络和Actor目标网络。

式中：τ为软更新参数。

2.1.2 混合噪声机制

提升探索动作空间的能力是深度强化学习算法的关键挑战。为了解决这一难题，本文提出了一种新的动作空间噪声生成机制。首先，采用OU（ornsteinuhlenbeck）随机过程作为噪声与策略网络的动作叠加，以实现对动作空间的探索，其微分表达式为：

式中：ζ为噪声回归系数；μ为噪声均值；σ为噪声的波动率；v为服从N （0,1）的正态分布。首项表示噪声围绕均值波动；第二项表示布朗运动生成的随机项。由此可见，OU噪声的产生会受到前一时刻噪声的影响，因此具有时序相关性，满足马尔可夫性。OU噪声的设置更加符合本文这类惯性系统中具有时间关联性的数据，即综合能源系统中的风光荷等具有随机性的时序数据，从而能够在一定程度上提升动作探索效率。

虽然OU噪声能够适应综合能源系统中的随机性，但是在惯性方向上探索需要耗费更多的时间才能验证其正确性。高斯噪声在时序上不具备相关性，能够提供较大的噪声波动和探索跨度，有助于加速模型训练的收敛。然而，单独采用高斯噪声又无法适应综合能源系统中的复杂性和时序相关性。为了解决这一问题，本文提出了一种融合OU噪声与高斯噪声的混合噪声机制来改进传统DDPG算法。结合两种噪声的优势后，能够显著提升DDPG算法在综合能源系统调度环境中的探索效率与收敛速度。

2.2 深度强化学习框架下数学模型描述

基于此，本文所构建的综合能源系统低碳经济运行数学模型可在深度强化学习框架下进行转换构建为本文所具有的马尔可夫决策过程：

式中：SIES为智能体获取的IES环境信息（即为状态空间）；AIES为智能体所采取的动作策略（即为动作空间）；PIES为IES环境根据智能体采取的动作策略进行的状态转移，本文中该状态转移是通过与历史数据交互间接获得，无需进行显式表达；RIES为IES环境根据智能体动作后得到的奖励 （即为奖励函数），用以评估动作的价值。

进一步根据构建的综合能源系统低碳经济运行模型对智能体的状态空间、动作空间、奖励函数进行适应性设计。

1）状态空间SIES。

状态空间将根据其需要的IES环境状态信息而设定。因此需要考虑4个部分：①随机性数据集合sr，表示具有随机性的电负荷需求、热负荷需求、气负荷需求、光伏与风机的电功率；②设备运行状态集合sg，表示前一时刻设备的电能、热能供应的设备信息包括PCH的热能供应、CHP的电能和热能供应以及储能设备 （BES、HES） 的储能容量；③能源价格数据集合sε，表示实时的能源价格包括电能购价和售价以及气能价格；④当前时刻t。由这4个部分共同构成智能体需要观测的状态空间，可表示为：

2） 动作空间AIES。

智能体将根据状态空间观测到的信息改变能源耦合设备的输出进而实现能源供需平衡及经济最优性。因此根据系统中的设备运行变化设定动作空间，其包含PCH的电-热-气-碳功率、PCH的氢能分配率α、CHP的电-热-气功率、HP的电-热功率、BES与HES的储能容量以及电网购电功率、售电功率、购气功率，表达式为：

进一步，根据前文构建的能源耦合关系式（ 1）、（2）、（12） 可 知，当 已 知Pp ch,h (t ),α , Pc hp,g(t )的 动 作以及观测到的信息Lg (t )时，可推导得到以下信息Pp ch,g (t ), Pp ch,e (t ), Pp ch,co2 , Pc hp,h (t ), Pc hp,e (t ), Pb uy,g (t )； 当 储能 设 备 容 量 变 化 动 作Bb es (t ), Bh es(t )已 知 时，可 推 导各 储 能 设 备 的 充 放 功 率Pb es,ch/dis(t )，Ph es,ch/dis( t)；进一步结合式（ 16） 中电、热功率平衡关系可推导出Ph p,e (t ), Ph p,h (t ), Pb uy,e (t ), Ps ell,e(t )。因此其动作空间可进一步表达为：

3）奖励函数RIES。

奖励函数的设置是为了引导智能体能够采取最优策略动作。因此根据本文所构建的IES低碳经济运行模型的目标函数设计奖励函数。目标函数的设计为最小化总成本，对其取负值即为实现智能体优化目标—奖励最大化，其表达式为：

但在实际应用过程中，能源供需会存在不平衡度，缘于智能体的动作虽然能够满足设备本身的相关约束，但对于多个动作共同决定的供需平衡约束仍然可能存在越限问题。因此需要进一步设计功率不平衡惩罚项uun(t)来量化其违反平衡约束的程度，其表达式为：

式中：分别为电能与热能的供需平衡差值的绝对值；φ e、φ h分别为电能与热能平衡偏差惩罚系数。

2.3 基于改进DDPG算法的低碳综合能源系统经济调度求解方法

基于混合噪声机制的改进DDPG算法应用于本文所提综合能源系统低碳经济运行的问题中，如图4所示。智能体能够通过采取混合噪声机制下的动作与低碳综合能源系统环境实现自主交互，而环境将对智能体发出的动作指令反馈奖励信号并改变当前的状态。

3 算例分析

3.1 算例设置

为了验证本文所提方法的有效性，采用如图3所示的综合能源系统为研究算例开展研究。本文选取了某园区级综合能源系统30天的电负荷、热负荷、气负荷、风电数据进行训练，如图5所示。电价采用分时电价具体如表1所示，气价统一设置为3.5元/kWh。燃煤型与燃气型的设备碳排放系数以及电与天然气的碳排放权配额系数如表2所示。碳交易机制的参数设置为：碳交易基价为0.25元/kg；碳排放量区间长度为1000 kg；碳交易价格的惩罚增长系数为0.25；碳交易价格的奖励增长系数为0.25。与上级电网交互电功率限制为-200 kWh~200 kWh。系统主要参数如表3所示。同时，本文基于文献[28-30]，设置了所提算法的参数：折扣因子为0.99，软更新参数为0.005，Actor策略网络与Critic价值网络学习因子均设置为6×10-5，经验回放池大小为10-6，训练回合数设置为1000次，OU噪声的参数为0.3，Gaussian噪声的参数为0.2，数据训练样本采样批次为256。

3.2 智能体训练分析

深度强化学习通过与综合能源系统环境交互并训练其内置决策智能体以获取具有高奖励值的动作策略，即得到最优目标的决策计划。智能体的训练过程需要与本文所设置的环境场景数据进行交互并积累决策经验，优化智能体的网络参数提高动作策略的质量。因此，本节将本文所提的基于混合噪声机制的改进DDPG算法与传统DDPG算法进行特性的对比，如图6所示，为算法奖励函数收敛曲线图。

奖励函数值是智能体在与综合能源系统交互过程中对动作策略品质的直观指标，其能够直接展现出智能体训练过程的相关特性。图6中红绿曲线代表平滑后的收敛曲线，相应的阴影区域代表探索过程的波动情况。由图6可知，具有随机性的探索过程使得收敛曲线具有一定波动，而随着训练回合的不断增加，智能体在与环境交互过程中优化策略，从而逐渐获得更高的奖励值。所提改进DDPG算法在探索过程中能够快速适应综合能源系统场景的随机性，在回合数为100时决策智能体已经反馈得到较高奖励值，并在之后的探索阶段中能够稳定适应复杂环境。相比之下，传统DDPG算法收敛速度明显较慢，在400回合之前仍处于探索与学习过程中，面对不确定性的综合能源场景无法稳定适应，奖励值波动较大。在回合阶段末尾后，智能体已更新其决策策略并能够给出适应环境场景的最优策略，策略结果对比见表4。综上，所提方法应用了混合噪声机制，面对综合能源系统调度环境的随机性具有更好的适应性，策略的探索效率更为高效，从而提高DDPG算法收敛的稳定性及快速性。此外，图6还展示了所提算法在选定参数配置下展现出的高收敛性能，这体现了参数选取的合理性。

同时，图7展示了本文所提方法的损失函数曲线。可见在训练过程的初始阶段中，由于智能体需要适应综合能源系统中的电负荷、热负荷、气负荷及风电处理数据的随机性，因此智能体的损失函数具有较大的波动性，且随着混合噪声机制的设置，其振荡过程是合理的。随着训练过程的不断学习与优化，智能体的损失函数逐渐降低趋于0，说明智能体所求最优策略能够逐渐适应环境场景。

为了引导智能体能够采取最优动作策略，本文在智能体奖励函数设置中增加了不平衡度惩罚项，其能够进一步提高DDPG算法的适应性及收敛性。如图8所示，探索初始阶段中智能体的动作策略由于无法满足综合能源系统的电、热功率平衡需求，其具有较大的功率不平衡惩罚值。智能体探索200回合后，功率不平衡惩罚值波动范围逐渐变小同时在数值上趋近于0，说明其逐步适应环境变化并保证综合能源系统的能源供需约束。

基于此，训练好的智能体能很好的适应具有多元随机性的综合能源场景并给出具有最优经济性的动作策略。本文将所提改进DDPG算法与传统启发式算法、DDPG算法在本文所构建如表4所示低碳综合能源系统模型中的应用效果进行对比。

由表可知，本文所提改进DDPG算法与传统启发式算法相比，降低了9.6%的目标总成本，同时在求解速度上具有明显的提升，一方面是因为传统启发式算法容易陷入局部最优解，另一方面是因为训练好的DDPG智能体能够避免重新的迭代求解所需的探索时间，可以在较短时间内给出最优解。与传统DDPG相比，经济总成本更低，是因为混合噪声机制的设置，使其能探索到更适应的策略动作。

3.3 模型低碳性及经济性分析

为了进一步表现本文所构建模型中的有效性，共设置了3组模型场景，并应用本文所提算法进行求解。3组模型场景分别为：

模型1：考虑碳排放目标下，设置传统碳交易机制，不考虑PCH联合模型。

模型2：考虑碳排放目标下，设置改进碳交易机制，不考虑PCH联合模型。

模型3：考虑碳排放目标下，设置改进碳交易机制，考虑PCH联合模型，即本文所构建低碳综合能源系统模型。

在表5中，如果电网交互成本为负值，表明系统通过售电获得收益，相应地，如果碳交易成本为负值，表明系统通过出售碳排放权获得收益。由此可知：相比于模型1，模型2在具有相同的购气成本基础上，能够通过提高向电网售电量以增加收益，即通过降低购电量来降低碳排放和总成本。由于模型1所采用的传统碳交易机制具有局限性，无法体现在碳交易区间内的成本差异，因此其碳交易成本较高，高达550元。因此，改进碳交易机制的设置能够使碳交易成本与实际更加贴合，更能从整体上降低总成本。但由于缺乏减碳模型的设置，模型1与2均无法通过售卖碳交易权获得收益。

而模型3的运行总成本低于模型1和模型2，这是由于其设置了具有减碳能力的PCH联合模型，它能够通过固定碳生成天然气的方式为系统降低碳排放，并通过供应天然气来提高系统的用能灵活性，进而能够通过售卖碳排放权与降低天然气购买量以提高系统运行经济性。

表6进一步展示了碳交易成本的细分要素。可见，由于传统阶梯碳交易机制的局限性，其无法满足在碳交易区间内的碳成本差异性。因此，模型1与模型2在碳交易量上几乎相同，但需要承担更多的碳交易成本。且模型1与模型2中均不具备减碳装置，因此它们无法直接通过降低碳排放方式实现碳交易量降低。

在模型3中，PCH联合模型的设置解决了系统无法灵活调节碳排放的问题，不仅降低了系统的净碳排放总量，仅为797.59 kg；而且也能通过出售碳排放权获得收益，为193.46元。

3.4 调度场景结果分析

基于此，进一步将训练好的智能体应用于考虑PCH联合模型的低碳综合能源系统模型场景中，求解出相应的调度策略，如图9—图12所示：分别为电功率、热功率、气功率调度策略结果及PCH联合模型的氢能分配策略结果。显然，综合能源系统具有较强的多能耦合性，因此其不同能源的供能策略具有紧密联系。

由图9—图12可知，所提方法求解的最优策略能够适应风电供能变化与负荷峰谷变化，并且在不同调度区间中能够调节氢能分配率协调系统的固碳能力与多种能源的高效供应能力，进而显著提升综合能源系统的低碳性与经济性。

1） 在3:00—11:00、22:00—23:00的调度区间中，主要供能设备为风电与CHP机组，在满足较低的电、热负荷需求的基础上综合能源系统仍然具有丰富的电能供应，因此智能体的动作策略引导PCH联合模型利用电能并以较高的氢能分配率来提升固碳能力，并供应系统天然气需求。

2） 在13:00—21:00的调度区间中，在满足较高的电、热负荷需求的基础上，智能体的动作策略引导PCH联合模型以较低的氢能分配率实现能源清洁利用并供应热能。

此外，在分时电价的角度上，智能体的动作策略能够引导综合能源系统采取更合理的购电与售电行为，提升系统运行经济性：在2:00—6:00、16:00—17:00的较低电价区间中，通过购电满足电能需求；而在11:00—13:00、18:00—21:00的高电价区间中通过售电方式获得收益，从而取得更高的电网交互效益。

4 结论与展望

综上所述，本文提出了基于改进DDPG算法的考虑PCH联合模型与改进碳交易机制的综合能源低碳经济运行策略。

1） 在低碳设备模型构建方面，提出了基于P2GCCS-HFC的PCH联合模型，能调节氢能分配率以更好地平衡减碳能力与能源的高效供应能力；

2） 在减碳机制设计方面，提出了改进阶梯型碳交易机制：相比于传统阶梯型碳交易机制，所提机制能够差异化区间内的碳交易成本，使其与实际情况更加贴合，从而降低系统的运行总成本；

3） 在算法设计方面，利用混合噪声机制改进了DDPG算法：相比于传统启发算法与传统深度强化学习算法，其能够自适应于低碳综合能源系统中源荷不确定性，并在低碳综合能源系统调度环境中具有更好的探索效率与收敛速度，有效保证了调度策略的实时性和最优性。

此外，本文目前在综合能源运行中主要考虑了碳交易机制。而未来的研究可以进一步深入探讨更为全面和市场化的交易机制与模式，以更好地提升综合能源的运行效率和经济效益。