电网大数据流通关键技术研究与应用

祝唯微1孙沛2袁昊3金铭4郁文龙5

（1.国网甘肃省电力公司甘肃兰州730030；

2.国网甘肃省电力公司信息通信公司甘肃兰州730030；

3.国网信通亿力科技有限公司福建福州350003）

摘要：甘肃电力公司重视数据流通，数据作为公司核心资产，致力解决跨体系、跨部门和跨团队的数据流通问题，通过数据共享提升数据价值，驱动业务发展。结合内外管理及业务需求，提供全公司的数据统一展示、管理、使用的大数据建设体系。大数据的应用需要融会贯通，只有流通起来，才能释放数据中蕴藏的巨大价值。

关键词：数据关联，数据流通，电网大数据；

一.引言

随着电网大数据应用加速发展，但是仍存在数据开放程度较低、安全风险日益突出、技术应用创新滞后等问题。

1、数据开放程度较低

跨部门、跨区域、跨层级、跨系统的数据共享、开放和业务协同的制度体系不完善，流程不规范，责任主体不明确，公共资源的界定及公开范围标准缺乏实践性，未能实现数据的真正开放。

缺乏统一的数据开放平台。企业内部数据资源多按地域或部门进行分割管理，不同地域和部门存在着不愿开放共享、不敢开放共享、不会开放共享的问题，形成人为数据共享壁垒，导致无法高效地获取和直接利用数据。

2、安全风险日益突出

随着云计算、物联网和移动互联网等新一代信息技术的飞速发展，大数据应用规模日趋扩大，在数据采集、存储、开放共享、等均存在安全隐患，数据隐私管理法规不健全，缺乏推动各个部门数据交换和共享的制度、规范和标准，导致数据隐私得不到合法保护。

二．电网大数据流通规划及建设思路

甘肃电力公司提出了“数据即服务”的模式，通过这种模式将数据拥有方和数据需求方以一种无障碍或者是降低门槛的方式，将两端的需求和资源对接起来，实现数据高效传输、流通。电网大数据流通规划及建设思路框架如下所示：

图电网大数据流通规划及建设思路

三．电网大数据流通关键技术研究与应用

（1）以数据关联为驱动的大数据调度优化技术。提出了数据关联技术，对数据进行聚合处理，减少任务执行过程中数据迁移的次数，方便数据集群监控管理、数据批量和实时处理等技术的应用，提高业务效率。

（2）电网大数据质量自助检测技术。提出了针对电网多源异构数据，设计一套数据质量问题自动发现、问题分析和数据质量提升方案，对目标数据进行实时动态的数据质量监控。利用数据质量异动处理及接口异动处理，不断提高数据质量。

（3）数据传输自动校验和重传技术。提出了数据传输差错控制技术与重传技术，提升数据通信的容错能力，保证数据传输的有效性和及时性。制定信息系统接口数据传输技术标准，评估各种数据传输工具的可靠性和传输效率，建立信息系统数据传输自动校验和重传机制。

（4）安全多方计算技术。安全保障是数据流通的关键屏障。必须通过技术手段保障流通数据安全与用户安全，以确保在保护数据提供方数据的前提下，实现多方安全协同计算，并确保各参与方得到正确的数据结果反馈。

（5）数据追溯审计技术。追溯审计是数据流通的坚实后盾。技术要能够满足以下要求：一是对参与数据流通各方实体的行为做到透明日志记录，方便数据拥有者查阅其数据使用记录。二是能够及时检测日志中出现的异常行为并快速定位异常情况，追溯到行为源头。

四、结语

当前，电网大数据产业继续保持强势增长态势，数据已经成为重要的资源。但是电网数据的共享、开放、流通和应用程度还远远不够，数数据作为一种生产资料，只有在流通、应用中才能创造价值。真正实现“数据源头”“数据传输”、“数据应用”全业务、全数据、全流程的数据管理机制，提升数据资源的利益效率。

参考文献：

[1]张磊.油田数据质量监督与控制模型研究[D].大庆：东北石油大学，2010.

[2]鲁均云，李星毅.基于内码序值聚类的相似重复记录检测方法[J].计算机应用研究，2010，27（3）：874878.

[3]庞雄文，姚占林，李拥军.大数据量的高效重复记录检测方法[J].华中科技大学学报：自然科学版，2010（2）：911.

[4]汤姆.怀特著，Hadoop权威指南：大数据的存储与分析（第4版），清华大学出版社，2017.

[5]DAMA国际.DAMA数据知识管理知识体系指南[M].马欢，刘晨译.北京：清华大学出版社，2012.

[6]李国杰.大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状和科学思考[J].战略与决策研究，2012，27（6）：647-657.

[7]赵国栋，易欢欢，糜万军，等，大数据时代的历史机遇——产业革命与数据科学[M].北京：清华大学出版社，2013.

[8]维克托.迈尔.舍恩伯格著，大数据时代——生活、工作与思维的大变革[M].盛杨燕，周涛译.杭州：浙江人民出版社，2012.

[9]阿尔夫.托夫勒.第三次浪潮[M]黄明坚译.北京：中信出版社，2006.

[10]卞友江.“大数据”概念考辨[J].新闻研究导刊，2013（5）：25-28.

作者简介：

祝唯微，女，汉族，吉林省公主岭市，1973年2月，电力信息与通信，硕士研究生，高级工程师，华北电力大学