大数据时代新型用电信息采集系统的创新研究及运维系统设计
摘要
关键词
大数据时代；新型用电信息采集系统；创新研究；运维系统设计
正文
引言：在坚强智能电网的建设过程中，智能用电与信息采集占据了非常显著的位置和影响，它是构筑坚强智能电网的一个关键支柱，也是六大环节中的一个，是实现智能电网所有功能的基础和物理载体，同样，它也是让社会各方感受到并体验到坚强智能电网建设成果的最主要方式。在大数据环境下，上海电网在2018年底开始对新一代用户信息采集主站进行改造，并在网省之间进行深入的沟通和讨论，学习和熟悉建设技术，为新一代用电信息采集建设打下良好的基础。
1.大数据与Oracle数据计算对比
从功能分析、性能分析、稳定性、可扩展性等几个角度，比较了Oracle数据的计算和大数据的计算[1]。具体如表1所示。为了满足信息采集系统未来海量数据和数据实时性的需求发展。提出了一种基于大数据技术的数据计算业务方案。
表1 Oracle计算与大数据计算对比表
对比分析 | Oracle计算 | 大数据计算 |
功能分析 | 传统的采集系统，只能在采集到的数据入库之后，才能对其进行统计和分析，无法适应某些对实时性要求比较高的业务需求。 | 采用大数据实时流处理技术，比如spark streaming等技术，为高实时性业务开展提供了技术保障 |
性能分析 | 在传统的采集系统中，使用 Oracle来进行各种类型的计算，在大规模的计算中， CPU和IO会变成一个主要的性能瓶颈。 | 大数据平台采取HBase 分布式存储和Spark计算引擎等技术，极大地提升了计算性能，在未来进行弹性扩容之后，就可以应对更高的性能和压力挑战 |
稳定性 | 传统的关系型数据库被破坏或修复时，必须停机，与之对应的服务也会被中断。 | 采用大数据平台，可以在少量节点宕机的情况下保持数据的完整性 |
可扩展性 | 传统关系型数据库需要扩展时时需要停止业务和Oracle服务 | 大数据平台存储采用Hadoop HDFS，存储容量弹性扩展：大数据平台可在线扩展节点来获得计算及存储性能的线性提升 |
Hadoop是当前国际上最为普及的一种分布式数据处理架构，它通过Hbase,Spark,ZooKeeper等先进且稳定的组件，以及Kafka消息中间件，来完成收集系统的数据运算和存储服务。
HBase（Hadoop Database）是一种基于Hadoop簇的分布式、列导向的开放源代码数据库，采用Hadoop HDFS为其文件存储体系，具有高可靠性、高性能、列导向、可扩展等优点。使用HBase技术，可以在便宜的PC服务器上构建出大型的结构化存储集群，在实时读写、随机访问超大型数据集时，具有优异的性能。
Spark是一款针对大型数据的高效、通用的计算引擎，能够对Hadoop提供的一切数据进行有效的处理，既保持了MapReduce的优势，又在时间效率方面得到了极大的提升，比使用内存进行运算的速度要快100倍。同时，在硬盘上实现的速度可以快10倍以上，这对于那些对迭代计算和实时性有很高的需求的系统具有很好的支撑作用。SparkStreaming，是建立在Spark上对Stream数据进行处理的一个框架，其基本思想是将Stream数据划分为若干个小的时间段（数秒），并对这一小块的数据进行类似batch的批量处理[2]。
ZooKeeper是一种分布式的应用协同服务，主要包括配置维护，域名服务，分布式同步，组服务等。
Kafka是一种分布式的、可分割的、多订阅者的、冗余备份的持久型日志服务，它以用户为核心，用户按用户的需求对代理进行大量Pull，没有任何消息的验证机制。利用ZooKeeper对各个Kafka结点进行了有效的控制，实现了资源协调和负载平衡。
2.数据改进后系统架构
大数据计算平台可以实现用电信息采集系统的电量曲线、负荷曲线、在线率统计等实时数据计算，同时还可以进行电量统计、负荷统计、线损计算、指标统计等离线计算。通过对系统中的全部资料进行定时的统计，可以有效地监控数据收集的效果，并可以根据需要适时地调整采集方案；主站要对全量数据采集质量分析监督功能进行完善，从而可以对全量数据的漏报误报、事件数据频报等进行分析监督。为了最大限度地发挥网络的通讯潜能，应针对网络中的信息漏报特性，采用合适的信息补召策略。总体的数据流程如下。
（1）利用数据抽取工具，从Oracle中提取文件数据、对象模型或其他业务数据，并将这些数据抽取到HBase。
（2）利用Kafka消息分布及分布式存取入库过程，同时向Oralce及HBase中把将采集数据入库并行写入。
（3）Spark计算应用程序将HBase中的数据进行读取，将其封装为若干RDD目标，由计算程序处理这些RDD，从而使完成各类计算业务逻辑。
（4）通过Spark计算应用程序以信息的方式向Kafka的具体主题中传送运算结果。
（5）摆渡程序监听来自Kafka的信息，然后将其通过分布式入库程序写入Oracle和HBase。
3.基于大数据的用电信息采集运维优化
3.1人工鱼群集合分析
技术人员能够使用人工鱼群集合分析的方法，对信息采集过程中的某些局部极化问题进行精确的测算，并构建出一个一体化的运维系统，在原来的技术模式下寻找最优化的解决途径，从而有效地克服原来的信息采集系统存在的数量小、运算能力相对较弱、不适合今后的运行系统发展趋势的问题。一方面，以原来的用电信息线路信息采集为基础，对历史错问题进行分析，寻找历史经验，查询历史故障与现在运行实际状态的差异，并将不稳定现象纳入其中，对准确的运维周期进行分析。在此基础上，结合已有的用电采集集和运维体系，构建协同体系，借助微粒群算法，借助大数据的高效搜寻能力，实现对电力信息采集和运维体系中的信息获取[3]。
3.2基于大数据的电力信息采集运维系统的优化
(1)利用大数据技术，特别是利用数据挖掘技术，实现对全网的用户运行情况的全面掌握，对每一个分支的秘境进行分析，并对每个信息采集点进行最优布置，对整个电力网络节点系统进行实时观测，找出当前各节点的电压矢量，从而构建优化分析模型。
(2)利用变电站节点、支路节点等，对n个节点中各支路的电网电压矢量进行分析，并基于观测雅可比矩阵，对各节点的电压矢量进行计算，并对测量误差进行分析。当系统处于满秩态时，再利用雅可比矩阵对其进行系统的分析，由此得到各节点的电压状态参数。总体而言，基于大数据分析模式的电力用户信息采集系统，是一种较为客观和综合的信息分析模式，能够有效地对每一节点上的信息进行匹配和控制，从而达到对植入功率的系统性观察。
结论：
综上所述，目前，国内电力企业在进行数字化转型的发展过程中，还存在许多问题和难点。然而，伴随着数字化技术的持续发展，大数据技术的日益完善，为对电力信息采集进行管理和升级，提供了坚实的基础和技术支撑，使当前落后的数据采集方法和管理能力发生了变化。为此对电力采集的新平台和新架构的创新以及运维系统的优化就显得尤为重要。在当前已步入大数据时代的背景下，通过信息化手段，能够极大地提高电力信息采集的一体化度。通过对这些问题的分析，可以看出，在大数据环境下，对电力信息的采集进行了深入的研究，有助于找出采集体系中存在的问题，并对采集系统以及运维系统进行优化。
参考文献：
[1]刘亚骑,张昌栋,韩为民.大数据环境下的用电信息采集系统建设[J].自动化与仪器仪表,2018(5):206-210.
[2]郭雷岗,余宁,崔宗浩,李耀祖.基于大数据的用电信息采集运维系统设计[J].电子制作,2022,30(10):83-85.
[3]李忠霖.大数据背景下用户行为数据分析课程教学改革研究[J].电脑与电信,2022(10):27-30.
...