-
小亿 管理员
发表于2022-3-30 11:11
楼主
近年来,数字经济成为我国国民经济高质量发展的新动能,而数字经济能否高质量发展还取决于数据治理水平是否够高。目前的数字经济面临数字鸿沟加大和网络碎片加剧两大挑战,数据和信息孤岛问题日益严重,数据作为市场要素的潜力亟待释放。而数据治理就是解决这些问题的关键方法,提升数据质量早就应该被提上日程。
究竟数据治理有什么意义,又应该如何通过数据治理的方式提高数据质量呢?小亿今天和大家一起来探讨。
一、数据治理的意义
2021年9月7号清华大学互联网治理研究中心主任李晓东在首届中国数字碳中和高峰论坛上说到:“通过数据治理可以提升数据流通利用水平、优化数据治理结构,改善数字鸿沟和网络碎片的问题,助力数字经济的发展”,而数据治理的意义就包含在这一段话里。但是具体的数据治理意义,我们细细看来。
从数据在企业中的应用过程来看,数据收集之后要经过数据治理才能进行数据分析。有一个高效合理的数据治理过程能够更好的在企业的部门间打通数据,连通企业内部数据。只有把数据连接起来,它才能发挥更大的价值,消除数据孤岛。就像睿治智能数据治理平台,它由亿信华辰研发。是一款融合数据治理十大产品模块,覆盖数据全生命周期管理的应用平台,也是目前国内功能齐全的数据治理工具,助力数据标准落地,提升数据质量,实现数据资产融合,为企业打通数据,助力企业发展。
二、数据质量的监控方式
提高数据质量是数据治理的重要意义,其实数据质量监控主要分为两个方面,一是监,监督,数据治理检验;二是控,控制和处理。
先来看监,就是数据治理检验。根据数据质量校验的对象,可以分为离线检查和实时检查。离线检查就是指可以指离线的对一些数据集 DataSet进行检查,实时检查则是对数据处理流的检查。数据治理检验不仅要从数据源头的元数据进行,还要数在数据采集过程中将数据分为“好数据”“坏数据”,“好数据”入库,“坏数据”则反馈给源头修复,因为数据来源部门最懂这些数据,也最能在源头上把数据问题彻底修复掉。亿信数据质量管理平台以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环,从而提高数据质量。
再来看控,就是控制和处理。简单的说就是当出现数据质量问题或者问题未出现时,数据质量如何控制。数据质量监控过程中,会发现两类问题,一类是源头的数据质量问题,出现了上游数据污染,这时需要及时阻塞下游任务,并处理上游任务。另一类是数据中心的数据质量问题,数据质量团队需要将这些问题及时反馈给数据仓库建设团队,从而根据这些反馈制定相应的措施和策略,对数据质量进行控制。
其实,数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能,但是它确实至关重要的。企业如果忽略了数据质量的重要作用,可能会导致一系列问题,所以注重数据治理不仅能够促使企业打破数据壁垒更能够让企业在数据质量方面有所提升。
究竟数据治理有什么意义,又应该如何通过数据治理的方式提高数据质量呢?小亿今天和大家一起来探讨。
一、数据治理的意义
2021年9月7号清华大学互联网治理研究中心主任李晓东在首届中国数字碳中和高峰论坛上说到:“通过数据治理可以提升数据流通利用水平、优化数据治理结构,改善数字鸿沟和网络碎片的问题,助力数字经济的发展”,而数据治理的意义就包含在这一段话里。但是具体的数据治理意义,我们细细看来。
从数据在企业中的应用过程来看,数据收集之后要经过数据治理才能进行数据分析。有一个高效合理的数据治理过程能够更好的在企业的部门间打通数据,连通企业内部数据。只有把数据连接起来,它才能发挥更大的价值,消除数据孤岛。就像睿治智能数据治理平台,它由亿信华辰研发。是一款融合数据治理十大产品模块,覆盖数据全生命周期管理的应用平台,也是目前国内功能齐全的数据治理工具,助力数据标准落地,提升数据质量,实现数据资产融合,为企业打通数据,助力企业发展。
二、数据质量的监控方式
提高数据质量是数据治理的重要意义,其实数据质量监控主要分为两个方面,一是监,监督,数据治理检验;二是控,控制和处理。
先来看监,就是数据治理检验。根据数据质量校验的对象,可以分为离线检查和实时检查。离线检查就是指可以指离线的对一些数据集 DataSet进行检查,实时检查则是对数据处理流的检查。数据治理检验不仅要从数据源头的元数据进行,还要数在数据采集过程中将数据分为“好数据”“坏数据”,“好数据”入库,“坏数据”则反馈给源头修复,因为数据来源部门最懂这些数据,也最能在源头上把数据问题彻底修复掉。亿信数据质量管理平台以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环,从而提高数据质量。
再来看控,就是控制和处理。简单的说就是当出现数据质量问题或者问题未出现时,数据质量如何控制。数据质量监控过程中,会发现两类问题,一类是源头的数据质量问题,出现了上游数据污染,这时需要及时阻塞下游任务,并处理上游任务。另一类是数据中心的数据质量问题,数据质量团队需要将这些问题及时反馈给数据仓库建设团队,从而根据这些反馈制定相应的措施和策略,对数据质量进行控制。
其实,数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能,但是它确实至关重要的。企业如果忽略了数据质量的重要作用,可能会导致一系列问题,所以注重数据治理不仅能够促使企业打破数据壁垒更能够让企业在数据质量方面有所提升。