-
小亿 管理员
发表于2021-9-25 14:12
楼主
9月25日,由亿信华辰主办、DAMA中国协办的2021第三届数据治理峰会在上海盛大举行。筹备了4个多月的数据治理峰会获得了众多企业CIO、CDO等高管的关注,参会人员达到500余人。12场行业高端主题演讲分享,场外产品体验区火爆程度再翻倍。【大会专题】
亿信华辰产品与解决方案总监訾津津出席本次大会,并分享《亿信数据治理优秀成果展》。以下为演讲实录:
亿信华辰产品与解决方案总监訾津津出席本次大会,并分享《亿信数据治理优秀成果展》。以下为演讲实录:
尊敬的各位领导,各位专家大家下午好!今天很高兴能够跟各位专家一起来探讨数据治理的现状、挑战、发展和思考。我先作个自我介绍,我叫訾津津,是亿信华辰产品与解决方案总监,接下来正式进入到我的汇报。
我简单说一下两个标签:
第一,亿信华辰是15年只专注于数据领域。这15年,我们没有做过业务系统,其他的信息化我们都没有做过,一直在做数据领域的工作。在数据治理只前,我们只做DWBI项目,90%以上都是用数据相关的系统。
第二,我们公司是一家非常踏实、务实、诚信的公司,经历过这15年的信息化发展,我们是国内商业智能BI最早的厂商之一,同时也是早期智能数据治理领域的布道者之一。
在2017年以前,我们公司很少做对外的宣传工作,可能大家不知道,五分之四的国家部委使用过亿信的产品,世界500强,100家使用过亿信的产品。同时,我们亿信有辐射全国的合作伙伴,包括今天到场的华为、中软、用友等等,有的合作伙伴年出货量可以达到百万套以上,经过这么多年的积累,我们在体系化的服务能力、平台化的产品能力和队伍上都有很深的积累。
我们的数据治理始于2012年,因为DWBI项目客户对于我们提出质量的要求,所以我们2014年发布了第一个数据质量的版本,应用到国家卫计委、省卫生厅、财税局的业务。2015年,国家关于部分行业有一些数据治理的早期探索工作,所以我们也发布了元数据相关版本。后来基于国产化,我们对标Kettle、DataStage出台了一款数据处理工具,数据工厂,广泛用于多个行业。
慢慢累积,在2018年,我们发布了基于全流程九大领域的数据治理平台睿治,一经发展,社会反响非常好,当年产品没有发布的时候就有两家大客户直接和我们签约,在2019年完成了包括大数据局、金融、教育、大企业多个项目的落地,并且荣获多个奖项。
2020年,我们一直在想这件事情怎样把它做得更好,所以我们一直在数据治理方法论和体系交付能力上不断构建,得到IDC的认可,把我们评为认知引领的领导厂商。有机会与DAMA协会成立关于数字治理人才的孵化器,希望未来与在座伙伴构建整个数据治理的生态体系,把我们国家整体的战略执行和落地。这里列举了落地的一些项目,我们也有一些粉丝用户,在活的一共有3万粉丝用户。
早上说了很多数据治理很重要,大家有没有疑惑,数字治理真的如此重要吗?对数据治理影响非常大的政策文件,包括数据要素市场化配置、数据化转型、“十四五”规划、数据安全法、行业政策。银保监会的《商业监管银行评级办法》,直接对监管行业要求,数据治理占5%的评分比重,这些政策层面,国家非常重视数据治理,
数据挖掘和AI必须依赖大量、可信的历史样本数据,我们现在如果不开始做数据治理,等我们未来需要考虑怎样用AI技术的时候,你发现没有数据可以用,没有高质量数据可以用,怎样用AI来做企业和国家层面的赋能?是没有办法做到的。
我们做EWBI做了很多年,前面七八年,都是用数据做决策,没有数据,质量低下这个决策是一个灾难,因为它可能引导你往反方向行走。不治理好数据,何谈长远发展?
《数据安全法》的发布,数据不仅具有经济属性,还侵犯隐私和利益。前一段时间闹得很大,包括国家地理信息的数据,这些数据的泄露,对于国家的利益影响非常大,我们个人的隐私不具备保护,何谈现在能够开开心心开这样一场大会?和谐社会也是空谈。
数据标准化不进行管理,何谈万物互联?我们前一段时间讨论的元宇宙,它需要对物体现实虚拟的表现,我们需要把所有世界的数据数字化,如果它是质量低的数据,可想而知这个元宇宙是什么样的宇宙。
介绍一下产学研视角的治理,我本人和各位老师一起做这方面的课题研究。目前大家比较熟悉的数据治理包括ISO、DAMA、IBM、中国国家大数据标准工作组,国内主要以DAMA机构数据治理相关的最佳实践广受人知。
这是2018年发布的《数据管理能力成熟度评估模型》,它基于八大方面对数据治理进行评估,作为我们国家在数据管理层面非常重要的文件。前两年,我将大部分时间花在和客户、领导解释数据治理不等于数据清洗,数据清洗是一个事后的管理。近两年,我们发现市场上普遍的领导者已经有了逐步建立数据治理体系的意识,但实际上还存在一些认知问题。
有几个问题常常被领导和客户伙伴去问:
第一,数据治理要做多久?不知道大家心里有没有答案,数据治理不是一个短期的工作,一定是长期的工作。数据治理长期的工作理念会分拆成一个一个的数据治理项目,它是不断去迭代、完善的。这跟我们国家治理和公司治理一样,什么时候公司治理和国家治理能够结束?没有的,这是第一个问题。
第二,数据治理是一个筐,什么都往里面装。确实是,有时候我看到一个建设方案,九大领域、十大领域所有的东西都在里面,包括工具层面、实施层面。一般我看到这样一个项目,心里就会打鼓,他们是真正在做数据治理的项目吗?还是在做一个标杆项目,展示项目?实际上我们的数据治理涵盖的方方面面特别广,也是一个长期工作,如果大家希望在半年内、一年内把所有的事情建完,这是不可能的。
第三,也是常常被问,是以终为始还是以始为终,到底以数据为出发点还是以目标为出发点?这个问题其实不是那么重要,我们做数据治理既要以数据出发,也要以目标出发。就像汪主席讲的,核心还是要做战略一致性,市场和技术数据结合的相关工作。
接下来给大家看一看我们亿信做了哪些数据治理的案例,也给各位到场的朋友、专家、伙伴提供一些思路,相当于抛砖引玉。
亿信数据治理体系我们有三阶价值论,这里谈到整个要素式的定义,亿信数据治理是要素式的企业数据治理,把管理、文化、培训、意识作为数据治理的背景,政策、目标、人、过程、技术和合规性为要素,如果引用中国传统的哲学问题,数据治理应该涵盖道、法、术、器、势、志这六大点。
中国的时候各位老师出去也看了我们数据治理的方案,基于要素式的数据治理,亿信华辰把它做了再次的细化和切割。首先,我们提供两大核心方案:数据治理的方案、数据资产管理的方案。
我加入了一些数据类的群,有很多老师也会提到,大数据治理到底跟数据资产管理是一回事还是两回事?我个人觉得对于研究机构来说,没有完全把它做一个定性。实际上我们只要关注它背后核心的内涵和目标就可以了。
首先,我们为什么要做这两大方案?大数据治理的方案侧重于整个数据治理体系的搭建,更多通过一种管理的视角去打地基,把我们的管理更加规范化。大数据资产管理的方案更加面向数据价值的视角,更关注数据的增值、利用和应用视角。这两大方案实际上有很多工作是重叠的,但是因为他们的视角不一样,也有自己的特色。
这两大方案大家比较关心,但是我们不建议大家一开始马上就上这两个方案,如果大家没有千万级的预算,没有打算两三年持续把数据治理做好的决心,我们不建议马上使用这两个方案。如果一上,最后就会变成政府客户或者企业客户内部的摆设,没有办法运转起来。
基于这种情况,我们做了一个分解,分解成四个面向管理的治理方案和两个面向价值的方案,这六个方案是非常好操作的,他们可以融合,形成大数据治理方案和大数据管理方案。
第一,数据资产盘点,汪主席讲所有的数据要以元基础作为基础,数据资产盘点就是元数据治理项目,数据资产盘点核心内涵就是盘点企业内部的数据,摸清家底,里面会有很多管理的要素。
第二,主数据管理方案。盘点完家底之后,我们会发现同一个数据在各个业务不同可能不同意,特别是一些实体类的数据,它对于业务系统的流程、运转,包括后面的决策,应用影响非常深远。我们以主数据为视角,做一个专向的主数据工作。
第三,数据标准化与质量评估。
第四,围绕企业的经营指标,指标体系的管理。
两个面向价值的治理方案:
第五,面向数据的增值利用,包括DWBI,商业智能解决方案。
第六,仓湖一体大数据方案,怎样建立一个数据中心,数据中心是中国五大基建之一,怎样建一个涵盖仓湖的一体化大数据中心。
基于这几个方案,我们会根据客户的实际情况做一些实施路径的推荐,对于信息化很薄弱,只做过业务系统的厂商,我们建议他以快速见效这种方式去做。我们可以先做一下现有数据的盘点,定定标准,简单做一个小型的仓湖一体,做一些数据的决策。对于信息化发展已经很长时间的客户,首当其冲的是推荐做一些数据标准化的工作,因为我们已经感受到了前期建设带来的痛点,基于不同的客户,我们也会根据刚才的八大方案给客户做一个组合和推荐。
接下来正式给大家介绍一下我们的案例,大家可以交流分享,未来可以有哪些更好的方向。
第一,介绍一下我们某能源企业资产盘点的项目。这个项目,我们自己跟一个客户去做过,这个案例是跟我们的合作伙伴一起做的。主要核心内容包括四大方面:盘、规、治、用。盘,主要是梳理现在的元数据,把所有元数据规范化以后,形成我们自己企业内部资产的目录。规,在盘点和管理上进行一系列规章制度的制定。治就是制定了公司的责任清单,有些数据不能随意对外共享和开放,质量也要追溯到人,在治方面做了一些工作,在用方面,做了一些典型的应用。
整个工作包括采集、标注、梳理、构建、挂接等等,去年盘点了11.2万张表。企业资产有很多没有作用的表,我们通过一些规则,把无效的空表、垃圾表、临时表剔除在外,对于有效表做了数据血缘关系的识别,包括数据的标注,把数据字典规范化,数据质量规则的梳理。同时,制定一些要很小心开发的数据,对它进行分级分类的管理。
我们用到了亿信的工具,亿信的工具有一个好处,如果盘点纯机器,一到两天就足够了,剩下的时间是用客户定规则,定制度,把业务层面的东西维护到系统当中去。整个资产盘点,我非常推荐大家,不管是企业客户还是伙伴客户,推荐给客户去做。这个项目一个月到三个月之内一定可以完成,不管是客户还是实施方风险都非常小,并且成效非常大,我们可以一目了然看到整个企业的数据情况,包括它的数据地图,数据分布情况。
第二,我们在某制造企业的物资主数据管理,相信大家对主数据了解比较深刻,它的难点是因为它是一个集团型的公司,下面有各个不同的业务,需要统一物资的主数据。这个数据价值非常大,如果大家去做企业客户,非常推荐做这个事情,因为对于物资来说,如果我们没有非常标准化的物资清单,可能没有办法做预算,即使做了预算,可能没有办法评估预算和实际采购的差异。
关于采购层面,做了物资以后有最大的好处就是可以减少重复采购。因为很多东西是同样的东西,如果我们可以规范化,就可以做集中采购的工作,可以大大降低企业的成本。
关于研发层面,业务系统如果一码多物,多物同码,质量低下的情况下,影响非常大,所以关于企业物资的主数据管理是非常有意义的一件事情。
整个难点因为物资种类非常丰富,它对于物资类别的梳理非常需要经验。同时,关于每一个物料里面的属性应该怎样定义,需要花费一些精力,同时需要形成关于物资的审批、入库、冻结、申请的流程。
这是主数据的实施过程,我不详细讲了。核心是四点:
第一,定标准。
第二,整数据。
第三,管过程,
第四,做分发。
右边是实施现场的图,我们开会次数非常多,评审会召开42次,做相关标准的认定。整个通过主数据管理平台管理,因为平台上线很快,只要把数据整好、标准弄好,流程弄好,三天可以把这个系统上线,功能也是比较丰富。
第三,关于金融机构标准化和质量管控。为什么这里要提到标准化?客户可能认为我做数据质量,是不是做数据质量的规则,做检查,督促他去修改,或者自己清洗数据质量的项目?其实不是的,数据质量涵盖很多方案,方案有元数据,有标准,有质量,为什么要有?
第一,有标准,大家肯定理解,无规则不成方圆,我们先把标准定好,标准我们要有审批、审核的机制,不是随便有一个人上一个标准就可以。
第二,元数据,为什么元数据对质量有影响。如果有几个系统要做数据融合,结果有一个系统字段发生了变化,这个融合数据肯定有问题。元数据标准质量是需要做的一件事情。
这是我们在金融行业的案例,整个流程包括成熟度的评估、蓝图规划、实施路径、标准咨询质量、质量咨询、元数据管理规划,最后应用到平台,形成这样一个流程,还获得了国家级的奖项。
这是工具的效果,包括元数据标准。再说一下政务的大数据资产管理,我们做了四件事情,第一,管理架构和策略,做了管理架构。实际上它拉通了五个决策,包括数据决策者,数据管理者,数据提供者、数据开发者、数据消费者。开发者的核心就是怎样创造让消费者有价值的数据的产品和应用,数据决策者和管理者就是站在数据治理的视角下,怎样把这个过程进行很好的管控。我们有一个关于数据资产需求的闭环管理,这是基于资产。
我们的用户在上面申请自己资产之后,可以用我们敏捷的分析工具自己做相关的增值应用。
我们做了一些数据产品,数据产品是基于数据原料再加工,以业务需求驱动,将业务作为产品进行管理的形态。实际上,我们认为一个数据产品需要产品经理,你要不断的基于市场需求包装我们的产品,真正盘活我们的数据资产。
我们内置了数据模型的产品,包括它的查询表、报告、人工智能的搜索,都是由我们这个平台的数据开发者做的一些数据产品的包装。后面有关于租赁机构的DWBI项目,大家比较熟,我们做了一个DWBI的咨询体系、实时交付体系、运维体系,也做了关于数仓、实时数仓、历史数仓的结构化、非结构化,最后生成了面向金融租赁机构的业务决策报表。
煤矿仓湖一体的大数据,有一些OPC工业数据的采集,包括各种不同类型数据,我们把它进行了湖仓一体的归集,再来对接我们的应用。
电力企业指标管理体系的建设案例,实际上对于指标管理,市场上有两种方向:
第一,我要做指标的标准,我们在国家级的一家能源机构做过,关于定标准,用到睿治数据标准的模块。
第二,监控业务指标的异常,它要树立对我企业影响比较高的基础业务指标库和绩效考核的指标库,把它进行梳理,实时观察这个指标的异动,有这样一个体系建设的案例。
这是医疗数据管控平台,它是综合案例,里面有面向数据资产,有面向数据治理的,它把我们医疗、病案的数据做融合、共享、分发、治理这样一些工作。这是一家省级的财税数据治理和集中平台,这个案例上了央视。
我的分享就到这里。与友同行,方能长远,希望有越来越多的客户和伙伴能够与亿信一起做对国家、对企业非常有意义的一件事情。谢谢!