电力大数据总结
电力大数据的发展
随着数字信息化时代的迅猛发展,信息量也呈爆炸性增长态势。在人类充分享受信息化带来的资讯、方便和快捷时,也使得全球的数字信息资源正进入到一个前所未有的快速增长期。据IDC 统计,2011年全球数据量已达到1.8ZB ,相当于全世界人均产生200GB 以上的数据,并且还将以每年50%的速度继续增长。在这汹涌来袭的数据浪潮下,社会各个领域也将开始其数据化进程。无论学术界、商界还是政府,都将不可避免的进入“大数据时代”。作为全球第二大经济体的基础能源支撑体系,中国电力工业概莫能外。近几年,电力行业信息化也得到了长足的发展,我国电力企业信息化起源于20世纪60年代,从初始电力生产自动化到80年代以财务电算化为代表的管理信息化建设,再到近年大规模的企业信息化建设,特别伴随着下一代智能化电网的全面建设,以物联网和云计算为代表的新一代IT 技术在电力行业中的广泛应用,电力数据资源开始急剧增长并形成了一定的规模。从长远来看,作为中国经济社会发展的“晴雨表”,电力数据以其与经济发展紧密而广泛的联系,将会呈现出无以伦比的正外部性,对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。据统计,截至2013年底,国家电网建成世界最大电能计量自动化系统,累计安装智能电能表1.82亿只,实现采集1.91亿户,采集覆盖率56%,自动抄表核算率超过97%。智能电网可以产生巨大的数据量。比如国网信通在北京五个小区,353个采集点,采集1.2万个参数,包括频率、电压、电流等,15分钟采集一次,一天就能产生34GB 。 电力大数据的概念 电力是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节,是跨单位、跨专业、跨业务数据分析与挖掘,以及数据可视化。
电力大数据由结构化数据和非结构化构成,随着智能电网建设和物联网的应用,非结构化数据呈现出快速增长的势头,其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性,一是数据量大(Volume )、二是处理速度快(Velocity )、三是数据类型多(Variety)、四是价值大(Value )、五是精确性高(Veracity )。。 电力大数据的前景
在电力行业,坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合,信息通信系统已经成为智能电网的“中枢神经”,支撑新一代电网生产和管理发展。当前,电网业务数据大致分为三类:一是电力企业生产数据,如发电量、电压稳定性等方面的数据;二是电力企业运营数据,如交易电价、售电量、用电客户等方面的数据;三是电力企业管理数据,如ERP 、一体化平台、协同办公等方面的数据。如能充分利用这些基于电网实际的数据,对其进行深入分析,便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制(包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测),客户用电行为分析与客户细分,电力企业精细化运营管理等等,实现更科学的需求侧管理。
电力大数据技术
电力大数据技术满足电力数据飞速增长,满足各专业工作需要,满足提高电力工业发展需要,服务经济发展需要。电力大数据技术包括:高性能计算、数据挖掘、统计分析、数据可视化等。
1)高性能计算
通过Hadoop 分布式计算技术采用MAP-REDUCE 模型建立分布式计算集群或者Yonghong Z-Suite 等高性能工具,对电力大数据进行分布式计算和处理。
2)数据挖掘技术
数据挖掘技术是通过分析大量数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集;规律寻找是用某种方法将数据集所含的规律找出来;规律表示是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。
数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等等。
3)统计分析
统计分析,常指对收集到的有关数据资料进行整理归类并进行解释的过程。 统计分析可分为描述统计和推断统计。
1、描述统计
2、推断统计
4)数据可视化技术
数据可视化数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息,便于相关者对数据的理解和认识。数据可视化与信息图形、信息可视化、科学可视化以及统计图形密切相关。
实践过程面对的挑战
智能电网中数据量最大的应属于电力设备状态监测数据。状态监测数据不仅包括在线的状态监测数据(时序数据和视频) ,还包括设备基本信息、实验数据、缺陷记录等,数据量极大,可靠性要求高,实时性要求比企业管理数据要高。
智能电网的基础设施规模庞大,数量众多且分布在不同地点。
数据质量较低,数据管控能力不强。大数据时代中,数据质量的高低、数据管控能力的强弱直接影响了数据分析的准确性和实时性。目前,电力行业数据在可获取的颗粒程度,数据获取的及时性、完整性、一致性等方面的表现均不尽人意,数据源的唯一性、及时性和准确性急需提升,部分数据尚需手动输入,采集效率和准确度还有所欠缺,行业中企业缺乏完整的数据管控策略、组织以及管控流程。
数据共享不畅,数据集成程度不够。大数据技术的本质是从关联复杂的数据中挖掘知识,提升数据价值,单一业务、类型的数据即使体量再大,缺乏共享集成,其价值就会大打折扣。目前电力行业缺乏行业层面的数据模型定义与主数据管理,各单位数据口径不一致。行业中存在较为严重的数据壁垒,业务链条间也尚未实现充分的数据共享,数据重复存储且不一致的现象较为突出。
挑战3:防御能力不足,信息安全面临挑战。电力大数据由于涉及到众多电力用户的隐
私,对信息安全也提出了更高的要求。电力企业地域覆盖范围极广,各单位防护体系建设不平衡,信息安全水平不一致,特别偏远地区单位防护体系尚未全面建立,安全性有待提高。行业中企业的安全防护手段和关键防护措施也需要进一步加强,从目前的被动防御向多层次、主动防御转变。
挑战4:承载能力不足,基础设施亟待完善。电力数据储存时间要求以及海量电力数据的爆发式增长对IT 基础设施提出了更高的要求。目前电力企业虽大多已建成一体化企业级信息集成平台,能够满足日常业务的处理要求,但其信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求,尚需进一步加强。
挑战5:相关人才欠缺,专业人员供应不足。大数据是一个崭新的事业,电力大数据的发展需要新型的专业技术人员,例如大数据处理系统管理员、大数据处理平台开发人员、数据分析员和数据科学家等。而当前行业内外此类技术人员的缺乏将会成为影响电力大数据发展的一个重要因素。
实施电力大数据给电网带来的利益
为电网规划和新能源探路
可以抽象地认为,智能电网就是“大数据”这个概念在电力行业中的应用,就是通过网络将用户的用电习惯等信息传回给电网企业的信息中心,进行分析处理,并对电网规划、建设、服务等提供更可靠的依据。同时,对于风能、太阳能等具有间歇性的新能源,通过“大数据”分析进行有效地调节,也可以使新能源更好地与传统的水火电进行互补,更为灵活地出力。 更加智能的电网运行
我们还须将采集到的数据信息,建立电力信息大数据库,整合系统内各项电力数据,分析大数据的内在联系,通过云计算技术,构建一体化监控系统,优化电网的运行方式,达到经济运行目的; 快速查找、隔离故障,缩短用户的停电时间; 合理控制无功负荷和电压水平,改善供电质量; 深化信息综合分析、智能告警、一键式控制等高级应用功能,解决目前存在的系统功能分散、集成度低、维护工作量大等问题,提升电网监控系统的集成化和智能化水平。 更加高效的需求侧管理
电力大数据可通过根据用户的用电量、分时电价、天气预报以及建筑物里的供暖特性等进行综合分析,确定最优运行和负荷控制计划,对集中负荷及部分工厂用电负荷进行监视、管理和控制,并通过合理的电价结构引导用户转移负荷,平坦负荷曲线。并且通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导,这样可以在完成同样用电功能的情况下减少电量消耗和电力需求,从而缓解缺电压力,降低供电成本和用电成本,使供电和用电双方得到实惠,达到节约能源和保护环境的长远目的,
推动中国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。
智能家居
智能电网离我们日常生活最近的,可能就是智能家居了。智能家居是在物联网的影响之下物联化体现。智能家居通过室内电力线将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、网络家电以及三表抄送等) 连接到一起,提供家电控制、防盗报警、环境监测、暖通控制等功能。电力大数据通过分析用户用电设备喜好、用电时长、用电周期等信息,帮助家庭与外部保持信息交流畅通,优化设备启动时间、运转功率等,为用户节约用电资金。
在电动汽车智能充电系统中,电力大数据可以收集汽车的电池电量、汽车的位置、一天中的时间以及附近充电站的可用插槽等,通过数学模型预测,将这些数据与电网的电能消耗及历史功率使用模式结合起来。通过分析来自多个数据源的巨大实时数据流和历史数据,能够确定司机为汽车电池充电的最佳时间和地点,并提出充电站的最佳设置点。保证所有充电设备都能被有效利用,降低闲置率,方便我们的智能生活。
如何应用大数据
对内:优化管理模式
内部应用指运用大数据优化电力企业管理模式,提升电力企业经营管理水平,主要包括以下几个方面。
——升级客户分析
一方面,通过使用电力企业庞大的历史销量数据,进行用户用电行为分析和用户市场细分,使管理者能有针对性地优化营销组织,改善服务模式。另一方面,通过与外界数据的交换,挖掘用户用电与电价、天气、交通等因素所隐藏的关联关系,完善用户用电需求预测模型,进而为各级决策者提供多维、直观、全面、深入的预测数据,主动把握市场动态。
——提高智能控制
大数据技术将加速电力企业智能化控制的步伐,促进智能电网的发展。例如,通过为电力基础设施布置传感器,动态监控设施运行状况,并基于大数据分析挖掘理念和可视化展现技术手段,采用集成了在线检测、视频监控、应急指挥、检修查询等功能的“智能在线监控与可视化调度管理系统”,有效改变运维方式,从萌芽阶段消除部分运维故障,实现运维智能化。
——加强协同管理
整合电力行业生产、运营、销售、管理的数据,实现电力发电、输电、变电、配电、用电、调度全环节数据共享,以用电需求预测为驱动优化资源配置,协调电力生产、运维、销售的管理,提升生产效率和资源利用率。此外,电力企业各部门数据的集成将优化内部信息沟通,使财务、人事等工作的开展更顺畅,有助于企业实行精细化运营管理,提高集团管控水平。
对外:丰富增值业务
外部应用指利用电力行业大数据可获得的社会效益,主要包括以下方面。
——丰富增值服务
利用电力行业数据可给用户提供更加丰富的增值服务内容。例如,通过给用户提供其各月份分时明细用电视图,可让用户了解自身用电习惯并能根据需要进行调整,同时也使得电力收费过程更透明。随着无线M2M 传感器和大数据分析的普及,智能恒温控制器等新型工具进入大型楼房和消费者家庭成为可能,未来这些技术将给用户带来很大的节能空间。
——提供经济指导
作为重要经济先行数据, 用电数据是一个地区经济运行的“风向标”,可作为投资决策者的参考依据。美国加州大学洛杉矶分校的研究者根据大数据理论,将人口调查信息、电力企业提供的用户实时用电信息和地理、气象等信息全部整合,设计了一款“电力地图”。该图以街区为单位,可以反映各时刻的用电量,并可将用电量与人的平均收入、建筑类型等信息进行比照。通过完善“电力地图”,能更准确地反应该区经济状况及各群体的行为习惯,以辅助投资者的决策,也可为城市和电网规划提供基础依据。
培养电力大数据人才。大力培养大数据技术专业型人才,尤其是技术与数据建模分析的复合型人才,是大数据战略实行的保障。
打破行业、企业数据壁垒
规划先行、加快示范。设定长期的电力大数据应用策略,积极开展前期研究,结合电力业务性质以及发展需求,从数据规模、增长情况、多样化程度以及数据分析的需求等方面出发,全方位论证电力大数据的发展方向和道路,制定中长期电力大数据发展规划,设立切合实际的目标和优先级、明确的预算与期限。
数据治理、行业共享。建立电力数据管控体制,定义完整的电力数据管控流程和电力数据责任体系,对电力数据进行从数据获取到数据加工、数据分发再到数据使用的数据全生命周期管理。在提升电力数据管控能力的基础上,开展数据治理和数据质量评估工作,有效提升电力数据的及时性、准确性和完整性。
人才培养、生态建设。结合电力大数据发展需求,行业内统筹考虑、统一规划,开展专业人才特别是电力数据科学家的培养工作。积极推动电力大数据技能认证工作,推进电力企业的分析竞争型企业文化建设,为大数据人才提供发展空间,为电力大数据发展提供坚实的人力资源保障。
智慧电力、智慧城市。电力大数据是智慧城市的基石,紧密围绕智能电力系统的发展开展电力大数据的应用实践。以重塑电力核心价值、转变电力发展方式为主线,在宏观层面重建以人为本的核心价值,在中观层面重建以科学发展为根本的核心能力,在微观层面重建以客户需求为导向的业务流程,实现电力工业更安全、更经济、更绿色与更和谐的发展。 展望 思路决定出路,观念决定未来。智能电网的理念,是通过获取我们如何用电、怎样用电的信息,来优化电力的生产、分配以及消耗。从本质上说,智能电网就是大数据在电力上的应用。同样,智慧城市的互联设备,也会依靠大数据来确保其工作的有效性。对电力大数据的探索、分析、应用,将成为电力企业的重要任务。