0 引言

随着“双碳”目标与新型电力系统建设的全面推进，电网正加速向“源-网-荷-储”协同互动的智慧能源体系演进。在变电、配电、作业安监等实际业务场景中，无人机、机器人、视频监控等智能终端每日产生海量的电力数据，呈现出多源异构、跨域分布、隐私性强的典型特征。

1）多源异构：海量电力数据往往以文本、图像、视频、音频等多种形式存在，不同场景的数据表现出多源异构性。

2）跨域分布：新型电力系统自上到下呈现分区分级的作业特点，原始数据在层级调度过程中在“发-输-变-配-用”五大环节进行分散存储，导致场景跨度大，呈现跨域分布的特点。

3）隐私性强：一线生产数据往往包含GIS坐标、设备铭牌、网络拓扑等敏感信息，受国家安全和行业保密要求，这些数据在算法开发、共享与训练环节被严格限制，难以集中汇聚与开放使用。

因此，采用传统集中式训练范式在电力行业开展数据共享、信息整合和模型构建面临着较大挑战，亟须引入先进的技术方法对电力行业数据进行高效利用和智能化感知。

近年来，以ChatGPT[6]、DeepSeek[7]为代表的多模态大模型取得了突破性进展，表现出强大的信息抽取和理解能力。这类模型通过对文本、图像及音频等多模态数据进行编码融合，实现跨模态语义理解与特征提取，实现复杂场景的精细化感知。在电力行业中，使用电力多源异构数据对多模态大模型进行下游微调，使其具备电力行业专有知识，快速识别缺陷、定位故障，辅助人员决策，可以在输电、调度、营销等业务领域提供技术保障，为电网运行提供智能决策[8-10]。

然而在电力系统智能化过程中，人工智能算法的下游应用仍然面临着一系列挑战。电力数据呈现结构复杂和多源异构的特点[11]，缺乏标准化的电力图文问答数据集，不仅限制了通用模型在电力场景中的广泛应用，也导致高性能深度学习模型训练成本的增加。其次，随着人工智能算法的不断发展，模型结构日益复杂，参数数量逐渐增加，进而导致微调训练成本提高[12]。此外，模型和数据的安全隐私保护对AI模型的电力行业应用极其重要，现有模型往往侧重于性能优化和精度提升，缺乏有效的隐私保护机制[13]。针对上述挑战，本文提出了一种基于联邦学习（federated learning，FL）与模型剪枝的电力场景多模态问答模型构建方法。主要贡献如下。

1）提出了一种基于类别引导的电力视觉语言大模型PowerVLM，由电力特征提取模块、视觉-语言对齐模块、大语言模型模块组成。并提出类别引导增强模块，为图像特征提供类别引导信息，增强了大语言模型的图文问答能力。

2）针对电力多源数据域间差异大且数据隐私保护的问题，采用基于FL的强化学习训练策略，促使多源数据端能够更好地提取私有图文特征，减少域间差异给图文信息感知带来的影响。

3）提出了一种基于信息决议的模型剪枝算法，利用可训练参数模块构建费舍尔信息，在参数高效微调（parameter efficient fine tuning，PEFT）过程中以结构化的形式将可训练参数分布到预训练基础模型（pretrained foundation model，PFM）各层中，以相同权重的方式进行更新，从而减少训练参数数量，降低联邦聚合的参数成本。

4）针对3种典型电力作业场景，选取9个数据源端的30种类别数据构建电力图文问答数据集（MPITQAD）开展实验，结果显示，本文提出的PowerVLM在各项指标均表现出较好的性能，且提出的FL训练策略和模型剪枝方法可实现低训练参数的模型高效推理。

1 资源受限场景电力大模型研究

1.1 电力多模态大模型

基于Tranformer[14]的大规模预训练模型采用无监督预训练和自回归生成的方式，从海量语料中学习到丰富的语义信息，逐渐在各种任务上取得突破。在自然语言处理领域，大语言模型（large language model，LLM）如BERT[15]、ChatGPT[3]、DeepSeek[7]在文本分类、情感分析、问答系统等任务中取得了显著成就。在多模态图文信息理解任务中，视觉语言模型（vision language model，VLM）同样展现出了强大的能力。与此同时，面向电力领域丰富的视觉感知任务（设备巡检、变电安监、状态监测等），收集大规模电力行业相关数据并进行下游模型微调可以为AI大模型在垂直行业中的应用提供指导和参考。如文献[16]提出了一种改进的MSFC特征融合压缩模型，设计级联残差变换模块，实现多尺度特征的精细建模，为输变电图像视觉编码框架提供了技术支撑。

面向电力系统日益复杂的多源异构信息处理与智能决策需求，研究也正从单模态向多模态、从感知向认知深化拓展。一方面，图神经网络凭借其对电网拓扑结构的建模优势，在智能电网分析中展现出强大潜力，如文献[17]提出的“GridOptPredict”，实现了负荷预测、状态感知与资源优化的协同集成，大幅提升了系统运行效率与智能化水平。另一方面，使用多模态融合技术开展电力设备状态评估也成为研究热点，文献[18]提出了一种基于多模态融合的电力设备故障诊断模型，通过结合图像、红外热成像和振动传感器数据，实现对变压器、断路器等关键设备的高精度状态监测与故障预测，为电力设备的智慧运维提供了新的解决方案。然而，在电力多模态大模型基础框架方面仍未打破多源数据壁垒，进而限制了跨模态关联信息的深度挖掘，亟须深入开展预训练与下游任务微调研究，构建面向电力场景的多模态大模型。

1.2 Federated Learning

FL是一种针对深度学习模型的分布式协作训练范式[19]，允许通过协调多个数据端设备与中央服务端进行模型训练，而不共享数据端私有数据集。FL框架下的分布式训练由联邦参与者和中央服务端组成，首先由中央服务端根据训练任务构建全局模型，并对联邦参与者共享模型参数完成初始化；在训练阶段，各联邦参与者基于私有数据进行模型优化，并将梯度更新信息传递给中央服务端，中央服务端进行权重聚合生成新全局模型；最后迭代优化直至模型收敛。FL能够在保护数据隐私的同时，实现多源数据的协同建模与知识共享，不仅能够有效打破数据孤岛，还能显著提升模型的泛化能力和适应性[20]。

基于以上特点，FL已被用于各种场景应用，如智能交通、智慧农业、无人驾驶等领域。文献[21]在负荷预测任务中提出匿名性隐私保护的FL框架，利用余弦函数筛选参与聚合的梯度，使模型具有更高的准确率和收敛速度。电力行业具有高度隐私敏感性，传统的集中式训练方法难以满足电力数据安全和隐私保护的需求，因此，基于FL的分布式协作训练方法能够为不同电力数据源的数据挖掘和模型训练提供技术参考。

1.3 大模型剪枝

模型剪枝作为一种用于信息压缩和深度学习模型轻量化技术，通过对神经网络中的冗余参数和非关键结构组件进行系统性剪除，显著降低模型复杂度并优化推理速度，同时将模型推理性能控制在几乎同等水平。常见的剪枝方法分为结构化剪枝和非结构化剪枝。文献[22]提出了一种任务无关的大模型参数压缩算法LLM-Pruner，基于梯度信息评估参数重要性，并采用结构化剪枝策略移除冗余的耦合结构，最大限度保留原模型的多任务求解与生成能力。文献[23]提出了QLoRA，在模型中引入低秩矩阵，并将参数矩阵进行量化进一步降低内存和计算开销，使得微调过程能在更小的显存环境中运行。以LLM-Pruner和QLoRA为代表的先进剪枝与量化技术，为在资源受限环境下高效部署与微调大规模预训练模型开辟了切实可行的技术路径。

2 电力场景多模态问答模型构建

2.1 类别引导的电力视觉语言大模型PowerVLM

2.1.1 整体结构

本文提出了一种类别引导的电力视觉语言大模型PowerVLM，包括电力图像特征提取模块、类别引导增强模块、视觉-语言对齐模块和大语言模型模块，如图1所示。首先图像通过预训练的视觉Transformer在电力图像特征提取模块中初步获得图像特征；接着，在类别引导增强模块中，引入类别标签信息提高对场景目标的感知能力，实现电力图像特征的类别信息融合引导；视觉-语言对齐模块将融合的图像特征转化为大语言模型能够接收的视觉嵌入，并与文本提示进行拼接输入到大语言模型中进行结果生成。

图1 类别引导的电力视觉语言大模型PowerVLM
Fig. 1 Category-guided multimodal question answering model for power grid scenarios

本文选取开源模型VisualGLM-6B作为基座，并引入类别引导增强模块对电力图像特征进行融合引导（具体细节在2.1.3节介绍）。VisualGLM-6B是一个开源、支持中英双语的对话语言模型，参数量62亿。使用VisualGLM-6B作为基础大语言模型，视觉-语言对齐模块得到的视觉嵌入和文本提示编码得到的文本嵌入共同组成大语言模型的输入，通过融合视觉和文本编码得到对应的文本输出结果。在训练过程中，根据真实回答和模型结果计算交叉熵损失，并对视觉-语言对齐模块的模型参数进行更新。

为了使生成的文本更符合电力行业下游任务要求，需对电力图像特征提取模块、类别引导增强模块和大语言模型模块进行冻结微调。其中，电力图像特征提取模块的ViT-G和大语言模型模块的VisualGLM-6B，是主要的微调模块，在微调过程中权重参数发生改变。将模型的权重分为需要微调的权重矩阵θ0和不需要微调的权重矩阵θ1，参数矩阵和偏置矩阵分别用W和B表示，以线性层为例，模型运算可以表示为：

式中：Wθ0指的是未冻结的线性层权重矩阵；Wθ1指的是冻结的线性层权重矩阵；Bθ0为未冻结的线性层偏置向量；Bθ1为冻结的线性层偏置向量；X指的线性层的输入特征向量；f(X)为线性层的输出特征。

2.1.2 电力图像特征提取

电力图像特征提取模块使用预训练的视觉Transformer提取图像特征，预训练权重来自于Eva-ViT-G[24]。原始预训练权重在通用图像数据集进行训练，因此提取复杂电力图像特征能力不佳，为加强模型对电力视觉图像的理解能力，本文对Eva-ViT-G使用部分参数冻结微调。具体而言，在特征提取过程中，靠近输出层的模块处理的是更低级的图像特征，为使输出的特征包含更多电力基础视觉表征，对Eva-ViT-G的最后一层进行冻结微调并将其输出作为提取到的电力图像特征。

2.1.3 类别引导增强模块

根据Conditional-GAN[25]等方法，PowerVLM将图像的分类标签作为引导信息，增加类别引导增强模块，图2为具体细节。该模块接收电力图像特征作为输入，预训练分类头由全连接层和激活函数组成，用于将电力图像特征转化为概率标签；再通过类别标签嵌入层将概率标签转换为标签嵌入，与原始图像特征进行拼接得到融合特征，并输入至投影层进行维度变换，将特征纬度与原始电力图像特征保持一致。

图2 类别引导增强模块结构图
Fig. 2 Architecture of the category-guided enhancement module

在训练过程中，类别引导增强模块所接收到的图像特征由PowerVLM的电力图像特征模块提取，在电力目标检测数据集上进行迁移学习，在随后的微调过程中，冻结该模块的参数。类别引导增强模块通过预训练分类头将电力图像转化为分类标签，判断该目标的具体所属类别，随后将该标签信息融入图像特征中，使得生成的语言结果更符合电力行业语料分布，实现通过特定的分类任务进行文本控制性生成。其中，预训练的类别引导增强分类头包含全连接和激活函数。输入的图像特征Xfeat通过参数矩阵Wclf和偏置矩阵Bclf得到相应的输出，最后将ReLU激活函数的输出作为概率标签L。具体运算步骤如下：

之后，概率标签L经过线性变换得到条件嵌入ec，权重参数矩阵WE，偏置为BE，得到的条件嵌入ec和图像特征Xfeat进行拼接得到结果e。

2.1.4 视觉-语言对齐模块

在视觉-语言对齐模块中，PowerVLM使用Query-Transformer将输入的图像特征转换为大语言模型可以处理的图像嵌入，实现和文本嵌入的对齐。Query-Transformer来自于BLIP2[26]，由Transformer和可学习的查询矩阵Q组成，查询矩阵Q可以学习到视觉特征和语言特征之间的特定关系，实现跨模态对齐。在训练过程中学习视觉特征和语言特征之间的对齐表示，缩小视觉语言特征差距，实现视觉编码和大语言模型的连接。

2.2 基于FL的强化学习训练策略

FL是一种分布式协作训练范式，允许通过一个中央服务端在多个联邦参与者之间进行协作训练，同时保护每个联邦参与者实际数据的隐私和安全。由于电力行业数据模型具有高度隐私敏感性，故本文将不同电力数据源作为模型训练的联邦参与者，并在中央服务端实现模型融合。

基于FL的强化学习训练策略分为2个阶段，第1阶段是多源分布式本地训练和更新，在开始训练之前，中央服务端初始化模型Wg0，并将其共享给其他联邦参与者wm进行分布式训练，其中m代表联邦参与者编号，wm代表对应参与者的模型参数。每个联邦参与者使用自己的私有数据集训练专属模型，并通过最小化损失函数来更新，其中，M是分布式数据源的集合。第2阶段进行模型回传和参数融合，在收集到所有数据源的更新模型后，中央服务端对所有模型进行聚合，并使用联邦平均方法对模型进行融合得到全局模型，最后由数据源端进行接收，以便在下一轮中进行局部优化，融合过程如下。

算法1以伪代码的形式介绍了本文FL框架下的强化学习训练策略。

算法1：基于FL的强化学习训练策略输入：参FL的各个数据源数量N，参数融合间隔L，训练总轮数Epoch初始化：中央服务端Eva-ViT-G和VisualGLM-6B预训练权重初始化W0(0)，每个数据源端的网络和模型W n n(0),( 1,2, ,N)= …for i=1: Epoch do数据源端从中央服务端下载模型参数得到W i n( -1)for j= 1: L do参与强化学习的数据源端根据自己私有电力数据更新自身模型参数W i n( )end for参与强化学习训练的数据源端向中央服务端上传模型参数W i n( )中央服务端接受所有单个模型参数W i n( )并进行参数融合W i( )将融合后的模型参数W (i )通过广播的形式发送给每个数据源end for

2.3 基于信息决议的模型剪枝算法

费舍尔信息定义为对数似然函数关于参数的二阶导数的期望值，用于度量可观测的随机变量携带未知参数的信息量，以衡量观测数据对参数估计的贡献。本文提出基于信息决议的模型剪枝算法，使用PEFT中的可训练参数模块构建的费舍尔信息选择可训练模块，以减少模型微调过程中的参数。

在本文提出的FL训练策略下，模型剪枝过程分为PEFT可训练参数初始化、数据源端计算费舍尔信息、联邦决议全局费舍尔信息和可训练参数剪枝。首先中央服务端使用LoRA对模型进行初始化得到可训练参数，其中l表示LoRA中参数化的可训练模块数，d代表原始权重矩阵的特征维度，r代表LoRA的秩。表示对应模块权重矩阵和偏置矩阵的参数。

数据源端使用私有数据对LoRA可训练参数进行微调，使用微调过程中损失函数的梯度计算对应参数模块的费舍尔信息：

式中：D表示数据源端私有微调数据；L表示损失函数。中央服务端聚合多个数据源端的费舍尔信息，并进行加权求和得到每个参数模块对应的费舍尔信息，其中c为联邦参与方的索引，fg是全局分数向量，是全局向量中第i个分量，是客户端c对第i个可训练模块算出的费舍尔信息分数。对于l个可训练模块，引入可训练参数模块选择率p，通过对每个参数模块聚合费舍尔信息进行排序，选择信息值最大的p·l个训练模块，并将其中的可训练参数模块的梯度更新信息共享给数据源端。

数据源端收到中央服务端选中的可训练参数模块梯度更新信息后完成参数更新，并对不在梯度更新信息列表中的可训练参数模块进行裁剪，将裁剪后的可训练参数作为最终的微调参数。

基于信息决议的模型剪枝算法伪代码如算法2所示。

算法2：基于信息决议的模型剪枝算法输入：PEFT可训练参数ΔW，微调次数epoch，可训练模块选择率p，微调数据D for 数据源端c C i ∈ ，do for e = 1: epochdo

续表

算法2：基于信息决议的模型剪枝算法累计每个参数模块的费舍尔矩阵F W F W L W W D(Δ = Δ + ∇ Δ i i i) ( ) ( ( , ; ))2 end for for Δ W∈ΔW i do F (ΔW=i) F W epoch(Δ i)f c c= = Δ{ , mean( ( )), }……f F W i i end for将费舍尔信息f c c c c={f f f 1,2 ,…,l }发送给中央服务端end for中央服务端聚合各数据源端的费舍尔信息并选择可训练模块f z z=={f f f f f 1,2 , , ,z c… l g g} l 1n∑c=1 n l Δ =Δ ＞W W e f f*g g( sort( ) )i p×l

3 实验结果与分析

3.1 多模态电力图文问答数据集制作

本文针对变电巡检、输电业务、作业安监三种典型电力场景收集数据集，每种场景选择10种作业类别（共30类），并利用ChatGPT-4结合人工校验构建了一个多模态电力图文问答数据集（dataset for multimodal power image-text question answering，MPITQAD）。MPITQAD针对变电巡检、输电业务、作业安监典型电力场景，分别从3个变电站、3个输电线廊和3个施工作业现场收集原始图像，每种电力场景下模拟3个FL训练策略中的不同数据源端，并从每种场景抽出100条问答数据用于模型验证。9个数据源端的30种类别信息及数量分布如表1所示。

表 1 数据集类别及数量分布
Table 1 Category and quantity distribution of the dataset

电力场景 类别标签 数据集数量变电巡检变电站1 变电站2 变电站3部件渗漏油 884 940 1051绝缘子破损 862 753 924表计破损 876 965 1047变压器套管 902 981 1027验电笔 971 1087 1276均压环 1285 980 875金属锈蚀 927 873 961呼吸器油封破损 878 993 1087设备胶套 857 1053 995变压器油枕 922 897 1020

续表

电力场景 类别标签 数据集数量输电业务输电廊1 输电廊2 输电廊3高压线防震锤脱落 1023 978 1056导地线断股 1001 1134 892输电线路鸟巢 1112 1069 922防鸟设施损坏 879 842 976导线挂塑料物 1190 1101 1056导电接头 951 935 897输电线路树障 976 938 952杆塔 1078 1001 835吊车碰线 872 922 861输电导线覆冰 1035 971 914作业安监作业场1 作业场2 作业场3消防通道堵塞 1054 1178 938未戴绝缘手套 1210 854 1028高空抛物 834 1091 935高空作业未戴安全带 1056 988 925深坑基作业 871 812 897作业现场孔洞未遮盖 882 785 1074跨越安全围栏 890 971 1063人员登梯作业 973 793 1181未佩戴安全帽 1116 861 986人员吸烟 968 1047 916

为构建图文问答对，本文根据不同电力多模态任务预设文本提示模板库，并对每一条数据从文本提示模板库中随机抽取一条文本提示，使用ChatGPT-4进行多模态图像问答，最后由人工进行专业性校验，得到多模态电力图文问答数据集（MPITQAD），具体流程如图3所示。

3.2 实验环境和评价指标

实验采用的操作系统为Linux Ubuntu 18.04，CPU型号Intel® Xeon® CPU E5-2678v3 @2.50 GHz，内存100 GB，GPU选择4张NVIDIA GeForce A100显卡，显存80 GB，环境配置为Python3.10+Pytorch2.1.0+CU DA12.0。

本文主要针对多模态图像理解和文本生成任务，选取指标METEOR[27]、BLEU[28]、CIDEr[29]进行衡量。METEOR通过综合考虑词汇匹配、同义词匹配和词序信息提供更全面的文本生成质量评估。首先计算单个单词的准确率P和召回率R，得到调和均值F：

图3 多模态电力图文问答数据集MPITQAD构建
Fig. 3 Construction of the multimodal power image-text question answering dataset

METEOR在对单词切片进行匹配的过程中增加基于词序变换的惩罚机制，引入惩罚因子P，对不匹配部分进行惩罚：

式中：SMETEOR为METEOR指标得分；P为惩罚因子；F为单元词组对齐后的准确率和召回率的调和平均。

BLEU用于自动评估文本生成任务和机器翻译质量，通过比较生成文本和参考文本之间的单词切片重叠程度来评估生成文本。BLEU计算公式如下：

式中：SBLEU为BLEU指标得分；n代表文本序列的长度；C代表候选语料集合；c和c'代表候选句子；g和g'表示修正精确率。

CIDEr是一种用于评估图像描述生成任务的指标，通过计算文本描述和图像之间的TF-IDF加权n -g评估描述的一致性。

3.3 实验结果与可视化

为验证PowerVLM在电力多模态问答任务中的表现，本文使用LLava-1.6、Qwen2.5-VL、ChatGPT-4以及PowerVLM在测试集上进行模型验证：针对变电巡检、输电任务、作业安监3种典型电力业务场景，计算每种场景下10种类别数据下的平均METEOR、BLEU、CIDEr指标。

实验结果如表2所示。在输电任务中， PowerVLM在3个指标上均优于其他模型，由于输电线廊环境场景变化跨度大，在进行多模态视觉语言问答任务中容易受电力无关环境干扰，PowerVLM使用电力标签类别信息对多模态问答进行引导，使模型输出结果更贴近电力业务场景。在变电巡检和作业安监任务中，虽然BLEU、CIDEr等指标上Qwen2.5-VL和ChatGPT-4部分优于PowergptVLM，但PowerVLM在3个指标上的总体水平仍领先于其他模型，说明本文提出的PowerVLM在细粒度缺陷表述和安全作业描述的准确性方面均具有显著优势。

表 2 3种电力场景下的4种模型效果对比
Table 2 Performance comparison of 4 models in 3 power scenarios

电力场景 模型 METEOR BLEU CIDEr 平均值变电巡检LLava-1.6 59.52% 40.56% 69.98% 56.69%Qwen2.5-VL 72.43% 46.82% 66.30% 61.85%ChatGPT-4 70.56% 51.14% 75.34% 65.68%PowerVLM 72.80% 49.36% 83.56% 68.57%输电任务LLava-1.6 48.37% 39.12% 52.64% 46.71%Qwen2.5-VL 53.81% 40.88% 56.23% 50.31%ChatGPT-4 51.06% 42.75% 54.97% 49.59%PowerVLM 55.52% 46.82% 57.34% 53.23%作业安监LLava-1.6 62.28% 51.45% 62.81% 58.85%Qwen2.5-VL 64.15% 53.83% 75.95% 64.64%ChatGPT-4 66.07% 52.74% 71.35% 63.39%PowerVLM 67.50% 55.98% 73.52% 65.67%

为验证类别引导增强模块的有效性，本文采用变电巡检场景下的10类数据开展消融实验，基础模型为VisualGLM-6B，实验结果如表3所示。可见原始VisualGLM-6B在电力多模态问答任务上表现较差；使用MPITQAD微调时后METEOR、BLEU和CIDEr指标均有所提升，表明模型微调后在电力任务上具有一定泛化能力；增加类别引导增强模块，由于模型在训练微调过程中增加了类别标签信息进行引导，故在电力多模态问答任务上的性能进一步提升。

表 3 消融实验结果
Table 3 Results of ablation experiments

模型 类别引导增强 METEOR BLEU CIDEr Visual GLM-6B×29. 25%30.16%47.28%Power VLM×57.62%41.72%65.40%Power VLM√72.80%49.36%83.56%

部分样例可视化结果如表4所示。

表 4 部分样例不同模型推理可视化结果
Table 4 Visualized inference results of different models on selected samples

图像 LLava-1.6 Qwen2.5-VL ChatGPT-4 PowerVLMimages/BZ_112_229_630_737_963.png这张图片显示电力工人在户外进行设备维护。一位工人站在梯子上操作设备，其他人则在地面协助。现场有起重机帮助吊装，整个场景展现了工人们合作完成任务的情形图中显示一个变电站的施工场景，一名工人站在梯子上操作，其他几名工人在地面协助。他们穿着统一的蓝色工作服和安全帽，正在安装或检修电力设备。背景中有高压电塔和电线，显示出这是一个电力设施的施工现场图像中有5个穿蓝色衣服的电力工人在户外协作维护设备，一人在梯子上操作，其余人在地面配合，起重机协助吊装。看起来他们在维修变压器或者变电站的重要设备这张图片展示了一组电力工人在白天进行高压电气设备的安装或维护工作。一位工人站在梯子上操作一个大型黑色圆柱形设备，可能是变压器的一部分，其他几位穿蓝色工作服的同事在地面协助。现场还有起重机正在吊装设备，显示这是一个需要重型机械配合的任务images/BZ_112_229_1194_737_1480.png一名工人在城市街道上设置黄色交通围栏，身穿安全背心，确保施工安全。天气炎热，背景有住宅楼和绿化带一名工人在户外操作黄色施工围栏，身穿反光安全背心。背景是城市住宅区，天气晴朗，温度较高。场景可能是道路施工或维护，工人正在设置或调整围栏以确保安全图中显示一名穿着反光背心的工作人员正在操作黄色的施工围栏。背景是城市街道，有建筑物和绿植。天气晴朗，温度37 ℃。工作人员似乎在进行道路施工或维护工作，确保现场安全这张图片展示了一名穿着黄色反光背心的工人在高温天气下（37 ℃）翻越施工围栏的场景，时间为2021年7月12日上午9点50分。背景中有绿色植物和很多建筑，地面有白色斑马线，显示这是一个正在进行中的城市道路施工区域images/BZ_112_229_1724_737_2010.png这张图片显示了两个人在交谈。左边的人穿着蓝色短袖衬衫和灰色裤子，手里拿着一个黄色的安全帽。右边的人穿着深色长袖衣服，背对着镜头这张图片显示了两个人在户外的场景。左边的人穿着蓝色短袖衬衫和灰色裤子，手里拿着一个黄色的安全帽，似乎正在与右边的人交谈。右边的人穿着深色长袖衣服，背对着镜头。背景中可以看到白色的栅栏和一些柱子，地面是铺装的道路，旁边有修剪整齐的草坪图像显示在一个空旷的区域中，有两名男子外面交谈，他们穿的衣服是蓝色的，其中一个人手里面拿着黄色的帽子。背景有围栏和电力设备，环境明亮这是在变电站内拍摄的一张照片，其中两名穿蓝色衣服的工作人员正在进行交谈。他们都没有佩戴安全帽，需要注意的是，变电站是电力系统涉及到高压电的传输和分配，因此在变电站内工作时，佩戴安全帽等安全措施是至关重要的images/BZ_112_228_2296_738_2583.png这张照片展示了一处户外施工场景，看起来像是两位工人正在进行某种基础设施的维护工作。一个工人穿着白色上衣站在地面操作工具，仿佛在调整某个地下设施的入口；另一个工人则穿上灰色外套爬上梯子，似乎是在检查或修理高处的某个部件这张照片展示了一处户外维修场景，两名工人正在处理电气设备。一位穿着白色上衣的工人站在地面操作工具，另一位穿灰色外套的工人则站在梯子上检查电气箱。背景中有围栏和草地这张图片显示两名工人在户外进行电力设备维护。左边的工人穿着白色上衣和黑色裤子；右边的工人穿着灰色迷彩外套和深色裤子。两个人都在用手指着他们面前的电力箱，他们的操作也都是正常进行这张图片显示了两名工人在户外进行电气设备的维护工作。左边的人穿着白色上衣和黑色裤子，戴着红色安全帽，正在使用工具操作设备。周围有白色的栅栏和红白相间的警示带，地上有一些施工材料和工具

为探究采用FL的强化学习训练策略对模型性能的影响，本文选取变电巡检场景中部件渗漏油、绝缘子破损、表计破损3类场景数据，每类选取500条数据构成新的数据集，并在提出的PowerVLM上采用FL的强化学习训练策略进行微调训练得到模型PowerVLMFed，联邦参与者为3个变电站各自私有数据；同时将3个变电站的数据进行合并后使用PowerVLM直接微调训练得到模型PowerVLM-Mer，分别测试两个模型在测试集上的CIDEr指标。实验结果如表5所示。由表可知，使用相同数据在两种训练策略下模型的性能指标几乎接近，表明在使用FL的强化学习训练策略时，由中央服务端对各个模型进行融合后得到的模型依然保留了联邦参与者的模型能力，且在该训练框架下，各个数据源端独自进行模型训练，数据相互不可见，为不同数据源之间的隐私保护提供了保证。

表 5 2种模型在CIDEr上的指标对比
Table 5 Performance comparison of 2 models on CIDEr metric

模型 FL训练 部件渗漏油绝缘子破损表计破损 平均PowerVLM-Fed√61.6%77.9%69.4% 69.6%PowerVLM-Mer× 63.8%75.1%67.9% 68.9%

基于信息决议的模型剪枝算法在FL策略的训练过程中进行可训练模型参数筛选。本实验选择10个推理样例对比不同选择率验证PowerVLM在推理过程中的效率，实验结果如图4所示。实验表明本文的模型剪枝算法可以通过调整可训练参数数据量降低算法计算额外开销，有助于提高模型的推理效率。但随着选择率变化推理速度提升幅度有限，本文认为低选择率下VisualGLM-6B基座模型可训练参数所占比例较低，当选择率到一定程度后，占比较低的可训练参数提供的有效参数信息较少，无法极大提升微调模型的推理效率。

图4 10个样例在不同选择率下的推理运行时间
Fig. 4 Inference runtime of 10 samples under different selection rates

4 结论

本文针对电力场景多模态数据利用和智能化感知面临的挑战，提出了一种基于FL与模型剪枝的电力场景多模态问答模型构建方法。构建了基于类别引导的电力视觉语言大模型PowerVLM，将类别标签信息融入图像特征，增强模型对电力图文数据的理解和问答能力；提出基于FL的强化学习训练策略，使得多源数据端端在保护数据隐私的前提下协同训练模型，减少域间差异对模型性能的影响；提出基于信息决议的模型剪枝算法，以结构化形式将可训练参数分布到各层中，减少训练参数数量，实现低训练参数的高效推理。实验结果表明，提出的PowerVLM在变电巡检、输电业务和作业巡检3种典型电力场景下，METEOR、BLEU、CIDEr平均指标上分别达到68.57%、53.23%和65.67%，均领先于LLava-1.6、QwenVL2.5-VL、ChatGPT-4。消融实验进一步验证了类别引导增强模块的有效性，提升了模型性能。此外，采用FL的强化学习训练策略，在保护数据隐私的同时，模型性能也接近数据集中训练的效果。模型剪枝算法在一定程度上提高了模型的推理效率。综上所述，本文提出的基于FL与模型剪枝的电力场景多模态问答模型，为电力多源异构数据感知、隐私保护和高训练成本等问题提供了有效的技术方案，推动了电力系统智能化发展。未来可进一步优化模型剪枝算法，提高推理效率，拓展多模态数据类型，提升模型泛化能力。