ABI中的ETL工具,如何能实现生产缓慢变化维?

3162
13

xugj831 小试身手Lv3

发表于2020-3-24 10:38

悬赏1

未解决

楼主
在体验ABI系统,目前针对缓慢变化维,从新建页面,是可以看到可以设定有效开始,有效结束的时间值。
截图202003241034374349.png

从个人理解,逻辑上,这个变化维,是来自于业务系统数据发生变化。
例如: CRM中有个客户信息,其中一个字段是客户负责人。那么当客户负责人发生变化的情况下,需要产生一条新的记录,对原有一条记录的有效期止进行修订,新记录的有效期起止字段进行赋值。

这部分的实现在ETL中,没有找到对应的实现组件。

咨询各位大神,这个部分,应该如何实现?


截图202003241034229183.png

最近看过此主题的会员

Shirley

15633597537

范文杰

coll

shixiang

xuewj

社区账号

weilei123

dongcidaci

zain

icowx

xxxl

JesusC52

土豆我是马铃薯

3516853030

13个回答

只看楼主

xugj831 小试身手Lv3

发表于2020-3-26 11:53

只看该作者

取消 关注该作者的回复

沙发

这个问题,没有人问过吗?那么都如何实现这个缓慢变化维的啊?

kingpeng 初学数据Lv2

发表于2020-3-26 16:17

只看该作者

取消 关注该作者的回复

板凳

可以用拉链表组件来实现。

xugj831 小试身手Lv3

发表于2020-3-26 16:20

只看该作者

取消 关注该作者的回复

地板

可否给个案例?拉链表组件,看了在线的demo,没有体会到精髓。。。

小亿 管理员

发表于2020-5-12 17:01

只看该作者

取消 关注该作者的回复

5#

您想要的案例是指什么?

xugj831 小试身手Lv3

发表于2020-6-19 16:02

只看该作者

取消 关注该作者的回复

6#

@小亿 ,如果可以提供一个demo, 例如如何使用拉链表实现这个缓慢变化维?

xugj831 小试身手Lv3

发表于2020-8-5 10:44

只看该作者

取消 关注该作者的回复

7#

@小亿 ,针对实现缓慢变化维的拉链表,我还是没有琢磨出来如何正确的使用。

xugj831 小试身手Lv3

发表于2020-8-5 11:02

只看该作者

取消 关注该作者的回复

8#

我描述一个业务场景,看看利用拉链表如何实现?
1. 员工张三,具有对应的部门信息。 在人员组织结构调整的过程中,会出现人员变动。例如从部门A调整到部门B,这样就需要利用缓慢变化维对内容进行记录,而在统计结果时,需要根据时间,将张三的信息统计到不同的部门。
2. 例如数据是
最开始的记录信息:
       张三       部门A            1900/01/01  (开始时间)     9999/12/31(结束时间)

当张三进行部门调整到B,例如时间是 ‘2020/08/01’, 需要根据记录的修改时间进行调整。那么就需要对上面的记录进行调整,应该调整的结果是
       张三       部门A            1900/01/01  (开始时间)     2020/7/31(结束时间)
       张三       部门B            2020/08/01  (开始时间)     9999/12/31(结束时间)

这样在进行分析是,就可以统计张三在不同周期内对应的部门。

这个是我对缓慢变化维实现逻辑的理解,但是ABI如何实现呢?

xxxl 数据领袖Lv6

发表于2020-8-5 14:14

只看该作者

取消 关注该作者的回复

9#

xugj831 发表于 2020-8-5 11:02
我描述一个业务场景,看看利用拉链表如何实现?
1. 员工张三,具有对应的部门信息。 在人员组织结构调整的 ...

                              
截图202008051414277816.png
选择需要输出的表名
截图202008051414418448.png
1)        时间字段和周期是针对前置组件进行设置;
2)        关键字字段的下拉选项是根据字段映射选择的字段来源添加的字段,只有有字段来源的字段才被添加;
3)        默认是有比较字段的,只是界面没有显示,根据字段映射选择的映射字段中除了被选为关键字字段的其他字段默认为比较字段;
4)        起始时间字段和结束时间字段的下拉选项是本组件选择的表的所有字段名;
5)        更新策略有两种,一种是数据覆盖,会清空目标表,一种是插入更新,有对应的数据则更新,没有则添加。

xugj831 小试身手Lv3

发表于2020-8-5 16:14

只看该作者

取消 关注该作者的回复

10#

这个拉链表的前置组件是?表输入?可否给一个ETL的图形 ?

keyfield 对应我例子中的张三。
compare对应我例子中的部门。

timefield 字段是来自哪里?理论上来自于源表(类似于更新时间戳),但您的截图没有。可否将这个ETL导出?

xugj831 小试身手Lv3

发表于2020-8-5 16:34

只看该作者

取消 关注该作者的回复

11#

我根据您描述的理解,进行了模拟,有报错信息,帮我看看,是有什么地方不正确?

表准备:员工-部门关系表 modifiedon 是修改的时间戳。
截图202008051629033363.png
插入一行数据如下:
截图202008051630014446.png


另外一个是维度表,目的是缓慢变化维
表结构

截图202008051631244694.png

执行ETL如下:
截图202008051631512607.png

截图202008051632335995.png

拉链表设置如下:
截图202008051633031296.png

截图202008051633368781.png

执行失败:
截图202008051634218816.png

上一页12下一页共2页

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

渠道咨询电话:137-0120-6790

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号