-
-
TL_ 数据达人Lv4
发表于2018-11-5 17:30
悬赏1
已解决
楼主
数据仓库的分层理念和每层对应使用的业务场景，以及数据增量抽取的实现方案，各位大佬有没有相关的文档讲解？
最近看过此主题的会员
6个回答
wut 发表于 2018-11-5 17:42
您是在数据工厂使用的时候的疑问吗？
是的，在建立数据仓库时，我发现对与工厂分层的理念和每层对应的业务场景不是很明确，增量抽取数据的原理和实现方案都有不少疑问，所以我想咨询一下，有没有关于数据工厂这一块比较详细的教学文档
TL_ 发表于 2018-11-6 09:25
是的，在建立数据仓库时，我发现对与工厂分层的理念和每层对应的业务场景不是很明确，增量抽取数据的原理 ...
给您提供一份我们数据工厂的快速操作手册。
数据工厂快速操作手册v1.2.zip
(6.03 MB, 下载次数: )
在数据工厂里面，一般是有ods和数据集市层。
ods：历史存储层，它和源系统数据是同构的，而且这一层数据粒度是最细的，这层的表分为两种，一种是存储当前需要加载的数据，一种是用于存储处理完后的数据。
数据集成：它是面向主题组织数据的，通常是星状和雪花状数据，从数据粒度将，它是轻度汇总级别的数据，已经不存在明细的数据了。
其中汇总层和整合层根据具体需求来确定是否需要，主要是根据项目的需求来确定。
至于您说的增量抽取的问题，您可以把您具体的需求提出来，一起看看如何实现
wut 发表于 2018-11-5 17:30
在数据工厂里面，一般是有ods和数据集市层。
ods：历史存储层，它和源系统数据是同构的，而且这一层数据粒 ...
从业务库抽取数据到数仓，业务库数据量过大，如果每次抽取都全部抽取，肯定会影响效率，所以实现增量抽取就很有必要了，从业务库抽取数据到数仓用的是SQL输入，模型输出，那么增量抽取的方式该如何实现呢？
