-
辰哥 管理员
发表于2019-11-8 14:01
楼主
一、 数据质量的定义
数据质量是“描述数据的特性”,数据无处不在,随着数据创建的数量、来源和速度的增加,数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用。
数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
二、 智能数据治理平台睿治中的数据质量管理功能的特别之处
1、全面的数据质量监控管理,睿治平台支持数据质量检查方案的定义和管理,包括检查范围、检查时间、检查规则、评分规则、评估报表等。同时,方案支持人工调度和自动调度。系统提供了完整性评价、规范性评价、逻辑性评价、及时性评价、重复性评价、外键关联性、波动分析、平衡分析等多种评估方法。各评估方法均采用可视化界面,用户无需编程,即可轻松完成所有规则的建立。
2、完善的数据质量检核规则定义,系统产品内置了13种不同的数据质量检核规则,覆盖了所有的数据质量问题,包含:空值检查、值域检查、规范检查、逻辑检查、重复数据检查、及时性检查、记录缺失检查、引用完整性检查、离群值检查、波动检查、平衡性检查以及sql脚本定义。
3、详尽的结果管理,通过质量监控,会产生和保存质量结果,包括:对象名称、发生时间、违反规则、级别、状态等。系统会自动生成每个质检方案的明细结果表,并允许用户根据分析需要对明细结果表字段进行自定义,从而为用户进行丰富多样的数据质量分析提供数据。检查产生的结果可通过界面、邮件、短信(需有短信设备)等方式告警,并可自动发起或人工发起问题处理流程。
4、多样的统计分析,根据数据质量管理及监控需要,对问题数据进行统计分析,系统内置了多种形式的问题数据分析功能、统计报表功能及数据质量分析报告。为了满足用户深层次数据质量分析需要,我们支持用户将基于亿信BI等第三方业务系统分析报表地址配置到数据质量系统进行展示。
5、自定义的绩效管理,用户在定义规则时,可定义不同规则的分数或权值,通过权值可以对数据质量进行绩效管理与评估,从而更明确把控质量落实情况。同时,平台支持整改计划管理,保证检查出来的数据质量问题能落实到地区、部门、个人,从而让数据质量问题真正得到解决。
三、 数据智能数据治理平台睿智中的数据质量功能模块简介
1、 数据质量规则定义
规则定义提供了规则复制和规则模板的功能对规则进行多模型使用;规则支持系统自动检查,也支持用户在建立过程中人工检查,通过实时执行的结果可辅助用户调整规则的定义。
2、 质检方案
支持数据质量检查方案的定义和管理,包括检查范围、检查时间、检查规则、评分规则、评估报表等。同时,方案支持人工调度和自动调度。
3、 数据质量分析
平台支持在业务系统建设、数据仓库建设各重要阶段设置数据检查监控点,并能实现跨监控点、数据源的比较分析。这种方式使得用户通过常规的规则定义即可实现ETL前后的数据一致性比对。 包括: 综合分析 、 占比分析 、 趋势分析、 同比环比分析、排名分析。
4、 绩效管理
用户在定义规则时,可定义不同规则的分数或权值,通过权值可以对数据质量进行绩效管理与评估,从而更明确把控质量落实情况。
5、 数据整改
参照工作流管理联盟(WFMC)标准设计,用户可通过图形化编辑器定义整改流程,实现将指向问题分发给数据责任人。数据责任人完成整改后,还可推动流程到审批环节,经质量管理员审批通过后结束流程。
6、 质量报告
数据质量报告是通过图文并茂的报告形式将数据质量问题进行周期性的说明,供主管领导查看及对外发布,平台提供多种数据质量报告模板,根据质量监控情况定期自动生成质量报告。质量报告质检方案支持增量执行,在定期执行和手动执行时,都可设置该参数,并支持在线打印及导出等。
7、重大问题告警
支持检查结果多方式告警,包括站内信、Email、短信,让用户及时了解质量价差结果,避免重大问题的延误;
四、 智能数据治理平台睿智中的数据质量环节截图
1、 数据质量监控
2、 质量模型定义
3、 检核规则定义
4、 质量分析
5、质检报告
*****************************
一、更多产品功能可点击以链接进行了解
二、感觉很有用,想试用该产品:
立即申请试用资格(拨打400-0011-866转0)开启实战之旅。
如有任何问题可以私信辰哥,或者直接加小亿微信esensoft001进行交流。
*****************************