[元数据] 元数据采集遇到的问题

4955
3

KAMHING

发表于2020-3-16 10:00

悬赏1

已解决

楼主

1.cmcl_dw采集成功,但入库审核时提示依赖关系还需要处理,建议过一段时间后做元数据分析,请问这个时间具体是多久?(在采集成功后做元数据血缘分析时,有部分依赖关系缺失)。
2.部分schemas采集时间较长,且cmcl_dw这个schemas偶尔采集不成功。

最近看过此主题的会员

esen_4ZJINNMK7I

ddb

liulei6511

v笑向前走

esen_4BM2ADT76Z1

dora232

佳佳123

陶雨萱

veekend

esen_45NLIA1L1DAK

dad

卫美松

张三三三

ant

15701369923

esen_3S2EEIG1B7PD

最佳答案
1、这个时间是根据采集数据的多少以及依赖关系的发复杂程度决定的。通常,入库完成后正常操作没什么影响,除非数据量以及依赖关系很多很复杂的情况下进行血缘、影响、全链分析需要一些时间加载。
对于部分依赖关系缺失有很多种情况,可能是数据库层面的依赖关系变化,也可能是手动编辑的依赖再次采集时被覆盖,具体原因具体分析,不能一概而论。
2、采集时间长可能是元数据类型、元数据数量比较多,也可能是依赖关系比较复杂或者各个元数据依赖涉及比较广,这是通常导致耗时较长的原因,当然也不排除是因为服务器、数据库性能的原因。偶尔采集不成功也是很多情况,可能是设置了自动采集,而该时间段,服务器停了,或者数据库无法链接都有可能,排除客观因素后,可以手动立即执行采集。
3个回答

只看楼主

15527554356 初学数据Lv2

发表于2020-3-16 10:00

只看该作者

取消 关注该作者的回复

沙发

1、这个时间是根据采集数据的多少以及依赖关系的发复杂程度决定的。通常,入库完成后正常操作没什么影响,除非数据量以及依赖关系很多很复杂的情况下进行血缘、影响、全链分析需要一些时间加载。
对于部分依赖关系缺失有很多种情况,可能是数据库层面的依赖关系变化,也可能是手动编辑的依赖再次采集时被覆盖,具体原因具体分析,不能一概而论。
2、采集时间长可能是元数据类型、元数据数量比较多,也可能是依赖关系比较复杂或者各个元数据依赖涉及比较广,这是通常导致耗时较长的原因,当然也不排除是因为服务器、数据库性能的原因。偶尔采集不成功也是很多情况,可能是设置了自动采集,而该时间段,服务器停了,或者数据库无法链接都有可能,排除客观因素后,可以手动立即执行采集。

KAMHING

发表于2020-3-16 15:16

只看该作者

取消 关注该作者的回复

板凳

目前还没有涉及到手动采集元数据,都是在从自动采集得来,部分表无法分析出血缘关系,是要自己手动添加依赖关系吗?



然后上图的cmcl_dw 从3.14到现在一直在采集中,无法点击取消,也无法点击立即执行,请问这种要怎么处理?

chenli 初学数据Lv2

发表于2020-5-12 15:39

只看该作者

取消 关注该作者的回复

地板

“cmcl_dw这个schemas偶尔采集不成功”,不成功时的日志里面的提示信息是什么?

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

400咨询:400-0011-866

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号