[] 增量抽取过程中怎么捕获删除操作

4553
2

maox 初学数据Lv2

发表于2018-8-23 10:17

楼主
如题

最近看过此主题的会员

chenzyd

wanggxb

pandabuxizao

onion

ttww

2个回答

只看楼主

数据观 数据小白Lv1

发表于2018-8-23 10:45

只看该作者

取消 关注该作者的回复

沙发

问题描述好精简!可否描述具体些,具体情况进行分析

vip 小试身手Lv3

发表于2018-8-23 10:17

只看该作者

取消 关注该作者的回复

板凳

etl中常用的增量抽取方式有时间戳增量、触发器增量、全表对比增量、md5增量、日志表增量等,但是源表里面的删除操作有时候 捕获不到(比如时间戳增量往往就没法捕获到源表中哪些数据被删除了),所以对于源表中的delete,可以这样来操作:
1.触发器增量,当有insert、update、detele的时候(触发器的创建方式可以参考博客https://www.cnblogs.com/fjhh/p/5370891.html)
2.根据参数进行小范围内的全量抽取,比如设置一个月份参数(例如8月份),先将目标表中8月份的数据全部删除;然后根据该参数过滤只抽取源表中8月份的数据
其它方式欢迎补充和探讨

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

400咨询:400-0011-866

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号