浅谈某大型企业数据治理方法

周培慧

广西通信规划设计咨询有限公司，广西南宁530007

摘要：首先介绍某大型企业在业务发展的背景下，企业系统应用及数据分布现状，分析存在问题，提出通过数据治理改善数据治理的建议；然后从企业数据中识别基础元素即元数据和主数据，围绕其探讨数据治理思路。

关键词：数据治理；血缘分析；数据地图；主数据管理

随着云计算的发展，通信技术的进步及互联网的深入渗透，企业尤其是大型企业由于其跨地区、业务场景复杂、组织架构多层级的内在特征，企业数据应用情况复杂。企业信息化“烟囱式”系统普遍存在，部门系统的分割使得企业数据分散，数据标准不一、质量保障机制缺位或不足都是数据共享的阻碍。现如今企业为谋生存、求发展，越来越能够认识以经验直觉做决策的局限性，接受以数据做经营决策的方式。要达到科学决策的目标需要以高质量数据作为基础，基于某大型企业数据现状，需要开展治理才能充分的利用和发挥数据价值。以下浅谈如何通过开展数据治理，提升企业信息化水平。

1某企业应用系统现状

该大型企业具有分布广、应用场景丰富、业务关系交错的特点，基于此，企业应用系统的建设呈现分散、业务多、关系复杂的局面。分布广使得数据分散存储造成共享和管理上难以做到集中管控；应用场景丰富则导致面向不同功能建设各异的系统，而系统为满足自身系统的需要，不可避免的生成不同数据，而从企业角度来造成同一信息冗余和不一致；业务的复杂性决定了企业内不同系统间，以及与外部系统需要进行交互，通过业务流程、数据共享方式调用不同系统数据。

企业应用系统是主要数据来源，应用系统分为支撑业务流程的核心系统以及辅助业务开展的支撑类系统。企业数据遍布在核心系统、支撑类系统中，数据主要类型有元数据、引用数据、主数据、企业结构化数据、交易活动数据、交易审计数据。元数据是数据的数据，是数据表设计的基础；引用数据是包含数据字典，用以代表元数据的可能取值；主数据是元数据和引用数据的约束下的数据集合，描述核心业务的主体，如产品等实体对象的数据以及各个实体之间的关系组成数据；企业结构化数据是与业务相关联的数据实体，由一个或多个主数据构成；交易数据是因业务流程触发而引起的主数据之间的活动记录；交易审计数据是对数据活动的审计记录。数据层级结构如图1所示。元数据作为基础性数据，其语义性最强代表的含义最明确，更新变化最少，数据稳定；交易审计数据在最上层，语义性较弱代表的含义更灵活，更新变化最快，数据增长变化频率高。

图1企业数据层次组成

该企业信息化经过多年积累拥有了大量的数据类型，但是也因此遗留大量烟囱式系统造成数据孤岛，严重影响了企业信息化支撑业务发展的能力。

2引入数据治理提高企业数据管理水平

数据要发挥价值关键在于流通。数据在企业内流通能够挖掘数据潜力、激发企业创新；数据在企业间流通，促进价值在上下游产业链流转。要改变该企业数据应用现状，扫除数据流通障碍，提高数据利用率，降低数据的使用成本，最有效方式是引入数据治理来提升数据质量。数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程1。从图1企业数据层次组成可知，元数据（含引用数据）和主数据作为数据定义和数据实体的代表是企业数据治理的基础和关键，计划将元数据和主数据作为该企业数据治理的着力点展开工作。

3数据治理方法

数据治理要求提升数据质量，离不开对数据的血缘分析；数据治理要求盘活数据，离不开对数据的洞察；数据治理要求提升数据的使用效率，离不开对数据的标准化。对于企业来说，利用血缘分析将从时间维度串联起数据，利用数据地图洞察数据是从空间维度串联起数据，利用主数据治理使数据标准化统一数据的理解。

3.1血缘分析

通过对数据的血缘分析能够提升数据质量。血缘分析指一种技术手段，用于对数据处理过程的全面追踪，从而找到某个数据对象为起点的所有有关数据对象以及这些元数据对象之间的关系2。一方面通过数据的血缘向后追溯能够找到数据的来源，对于多源头数据可以定位到该字段数据来自哪一个数据源；另一方面，通过数据的血缘向前可以沿着数据流向目的找到数据影响的范围，从而定位数据质量的变化影响范围。

因此，在该企业数据治理时利用血缘分析的特点，可以用于数据问题的定位、数据差异比对、数据健康度监控、数据分布情况监控等应用。在执行企业数据分析任务中，通常会因为子任务的失败或者分析指标的改变而导致运行了很久的分析程序得不到结果，利用血缘分析能力定位分析问题，回溯问题根源并以此根源节点出发执行子任务，能够大大减少整体任务重新运行的成本。

3.2数据地图

数据治理要求盘活数据，离不开对数据的洞察，使用数据地图作为可视化管理手段从不同视角分析企业数据组成。数据地图是一种图形化的数据资产管理工具，它提供了多层次的图形化展现，并具备各种力度的控制能力，满足业务使用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求3。

因此，该企业可通过统一集中的企业级数据地图作为摸清数据家底的工具，满足企业不同角色如数据使用者、开发者、管理者对数据洞察的需求。数据使用者通过数据地图能够了解所需要的数据在哪里、数据以什么形式存在、数据是如何定义、数据如何取得、如何能够最大便利洞察数据；数据开发者能够将其作为对数据资产分布及运行情况反馈的工具，清晰的反映出所需开发的应用、指标是否存在或者如何存在，用于帮助开发者能够以全局视角获悉企业数据家底，按需有目的进行开发工作；数据管理者能够掌握数据资产的全局情况、评估数据资产配置的合理性、充分性、可靠性、安全性等方面的情况，只有掌握全面的信息才能够针对性地开展决策和管理工作。

3.3主数据管理

数据治理要求提升数据的使用效率，离不开对数据的标准化。主数据是个跨系统背景下产生的概念，以往数据只在本系统中使用，字段定义、数据字典只在本系统内生效，此时尚未有主数据概念。而作为大型企业必然有大量业务系统的交互此时产生主数据，但由于遗留系统存在造成数据标准不统一，系统间主数据难以直接使用需要做语义的转换和映射方可相互理解。主数据管理（MasterDataManagement，MDM）提供数据互通标准规程、技术和平台，在数据需求和提供方之间创建并维护业务数据的一致性、完整性、相关性和精确性。主数据管理平台承担企业数据、外部系统数据核验和及时分发功能。

因此，在该企业数据治理时利用主数据治理重构企业数据流，发挥MDM平台标准化作用将业务系统间需要互通的数据先通过MDM平台处理，以MDM平台作为企业数据集散枢纽，并逐步统一企业数据的标准。数据仓库汇聚的维度数据也应以MDM平台治理过的数据为准，MDM平台本身包含了ETL、数据质量管理、数据复制和数据同步等功能，使得数据仓库更关注于数据卷和分析业务的管理，而弱化其对数据ETL操作，同时也能达到优化系统性能的目的。

4结束语

综上运用血缘分析、主数据管理、数据地图数据治理技术将数据质量提高是发挥企业数据价值的第一步，对此企业应该重视起来。

参考文献:

[1]百度百科.数据治理.[DB/OL].

https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86/3819997?fr=aladdin,/2019.

[2]数据资产管理盘活大数据时代的隐形财富[M].北京：机械工业出版社,2016:73,85.

作者简介：周培慧（1983-），男，壮族，广西宾阳，广西通信规划设计咨询有限公司项目主管、大学本科，企业信息化。