沈梦雪,李屹然
(1.国网枣阳市供电公司,湖北 枣阳 441200;2.国网老河口供电公司,湖北 老河口 441800)
在过去的十年,各个行业对电力的需求不断加大,用电高峰季缺电现象更是时有发生。随着可再生能源的发展,发电方式变得十分多样。智能电网提供了一种安全可靠的集成方式,在保证电力系统安全运行的前提下,有效结合可再生能源与传统发电方式。智能电网可以视作是电力系统与海量信息的结合体,由传感器、执行器、智能电表、分布式管理系统、决策支持系统组成,与电力系统与统计学、应用数学和智能算法等领域相融合。但由于电力网络的复杂性,巨大的网格产生了高维的数据,除结构化数据外,还包含大量的半结构化、非结构化数据,为数据的提取、存储带来了许多困难[1-2]。对智能电网而言,数据提取、转化、存储以及决策管理是智能电网运行的关键所在,为大数据技术在智能电网中的应用提供了广阔的平台[2]。尤其是在削峰填谷、提供分布式系统的能源效率、提高配电系统可靠性等方面,大数据技术将会起到关键性的作用。基于当前智能电网中数据的特点,本文主要介绍了一种基于云计算的智能电网大数据分析系统体系结构,并指出大数据技术在智能电网中运用的发展方向以及需要解决的问题和面临的挑战。
大数据技术是一种广泛收集数据并从其中提取知识的技术[3]。大数据分析由以下几个部分构成:分布式文件系统框架构成的多用户数据库,如Hadoop,Mahout等;数据库管理系统,如Cassandra,HBase以及查询语言,如HiveQL。将大数据分析应用于智能电网中,可以存储各类智能电网中的历史数据,例如温度数据、用户电能需求和电能生产数据等。这些数据可以存储在云环境中并进行处理。现将大数据分析的框架介绍如下。
1.1 Hadoop MapReduce模型
Hadoop又称作Hadoop分布式文件系统(Hadoop Distributed File System,HDFS),它可以通过本地计算从一台服务器扩展到数千台计算机。而MapReduce是Hadoop的并行数据处理系统,它可以在大量潜在的高级语言中执行,如C、C++和脚本编程语言,Python等。Hadoop MapReduce模型体系结构如图1所示。
图1 Hadoop MapReduce模型体系结构
MapReduce由每个集群的单个主节点和一个从节点组成,可将多个任务并行分配给单个集群或共享集群中的数据节点并对结果进行整理、过滤、排序,然后传递出去作为输出。如图2所示,如果分配给某个节点的任务在集群中过载或是分配失败,则该任务由集群中的另一台服务器执行。然而,在多个集群上运行会导致运算时间增加,并降低处理速度。但由于MapReduce没有交互模式,需通过添加Hive Hadoop使用户有一个接口来处理MapReduce范式。
图2 MapReduce软件框架
1.2 Cassandra数据库管理系统
Cassandra数据库是一种非关系型的数据库(Not only Structured Query Language,NoSQL),专门用于存储大型数据集。Cassandra支持云基础设施,使其更适用于智能电网。在国外,Cassandra数据库已经在网飞、易趣、推特等著名网络公司中得到了应用。该数据库拥有扩展性强、模式灵活、多数据中心等优点,能够很好地存储智能电网中的各类数据。
1.3 Hive数据库分析系统
Apache Hive数据库软件用于查询存储在分布式环境中的大型数据集并分析计算大数据。Hive使用一种类似SQL的查询语言HiveQL (HQL)来查询数据库。Hive由两个组件组成,分别为Hcatum和WebHcat。Hcatum是一个表,允许用户在其网格上编写数据。WebHcat使用HTTP接口运行Hadoop MapReduce和Hive服务。HQL查询由Hive解析器编译为一组MapReduce程序。与关系数据库类似,Hive将数据组织做成表并存储到HDFS[4]。
智能电网由智能电表、传感器、决策支持系统等组件组成,以实现使传统电网表现为“智能”的目标。本文讨论的基于云计算的智能电网架构包含大数据分析模块,以分析智能电网中的各类数据,例如消费者使用数据、历史天气数据等,并预测传统能源和可再生能源的电能生产。一些典型的大数据在智能电网中的应用如图3所示。
图3 智能电网中的大数据应用
云计算建立在互联网的基础上,是对互联网相关服务的增加、使用、交付的一种全新模式[5]。云计算环境提供各种服务模型,如基础设施服务(IaaS)、网络即服务(NaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算也拥有不同类型的云部署,如私有云、公共云、分布式云等。云计算技术可以与智能电网中的大数据分析一起使用,以平衡电网中的电能供需。将智能电网、大数据分析和云计算这3种技术的优点汇集在一起,生成基于云计算智能电网大数据分析系统架构,以执行以下功能:
(1)分析历史天气数据,预测电能产量;
(2)分析消费者行为模式,以提前预测需求;
(3)跟踪各种来源的电能生产,并决定在高优先级/低优先级需求之间的切换;
(4)需求/供应链之间的平衡负载;
(5)有效地完成发电量的存储/传输。
如图4所示,上述的体系架构主要由智能电网侧和基于云计算的大数据分析框架两个部分组成。智能电网端将所需的数据传递至大数据分析所用的数据库,数据库由历史天气数据、消费者行为模式、电能供需等数据库组成。每次系统根据历史天气数据和消费者行为模式预测电力需求和计算所需的电力供应,并将智能决策反馈到智能电网端。上述数据均存储在云端Cassandra数据库。为了管理数据的存储和检索,系统使用Hadoop分布式文件系统。HDFS负责将存储分配到机架中的节点。Map函数每次将一个输入(key,value)对转换为一组中间结果(key,value)对;Reduce函数对key相同的一组value进行处理,产生最终结果并写入分布式文件系统HDFS[4]。
图4 基于云计算的智能电网大数据分析系统
对智能电网中的各类数据而言,数据的提取、传输和存储环节仍然有许多挑战值得关注,现将其中较为关键的问题总结如下。
3.1 数据恢复和采集
由于传感器的数据有时会被更新和覆盖,导致之前收集的数据被覆盖。但在提取数据中的有效信息之前,历史数据不应该被覆盖。一旦被覆盖,则会严重影响数据收集的准确性。
3.2 数据爆炸
数据生成的精度为秒,由此会产生TB级别的数据,增加了数据流传输的负担,且对如此级别的数据进行分析的价值很低。
3.3 数据丢失
在分析测量点或传感器上产生的数据时,通常不进行流式传输或直接传输到存储单元。因此在数据分析的预处理步骤,应选择合适的方法处理数据丢失带来的问题。
3.4 实时处理
考虑到智能电网中的应用程序时常需要根据实时数据进行数据处理、分析,这对数据清理的时间提出了较高的要求。就已有的技术而言,具有Hadoop或spark的基于云的基础设施是保障数据能够进行快速实时处理的较好解决方案。然而,此类方案仍存在着延迟、网络拥塞、算法复杂和计算速度有限等固有问题。
3.5 通信安全
快速、安全、可靠的通信信道是涉及实时分析的应用程序面临的一个挑战。保护通信通道的信息安全是一项复杂而耗时的任务。而电网数据需要通过维护数据的完整性和机密性来保护电网数据的安全。
在大数据时代,信息是影响决策的关键因素之一。因此,本文提出了在智能电网中实施大数据分析和云计算的架构,使得智能电网的运行更加高效。对于发展中的智能电网而言,有效提取相关信息能够很好地促进节能减排并促进电力资源的合理利用,亦具有很高的商业价值。但该过程也对利用大数据技术提取、存储智能电网中各类数据的安全性、准确性、实时性提出了更高的要求。大数据技术未来在智能电网中进一步的发展应围绕数据提取的安全性和高效性、增强数据处理的实时性、数据库的横向扩展以及数据的可视化等方面来进行。此外,在法律层面,提取公共用电数据进行分析有可能侵犯用户个人隐私,有关部门也应建立健全相关法规,让大数据技术更好地为社会服务。
猜你喜欢 电能电网数据库 数字化电网技术在电网规划设计中的应用今日自动化(2022年1期)2022-03-07穿越电网数学大王·趣味逻辑(2021年11期)2021-12-03闪电潮汐转化仪科学启蒙(2017年3期)2017-04-10数据库财经(2017年2期)2017-03-10可输出电能的椅子发明与创新·大科技(2016年10期)2016-10-22第11讲 电能与电功率专题复习中学生数理化·中考版(2016年2期)2016-09-10数据库财经(2016年15期)2016-06-03数据库财经(2016年3期)2016-03-07数据库财经(2016年6期)2016-02-24