2个回答
etl中常用的增量抽取方式有时间戳增量、触发器增量、全表对比增量、md5增量、日志表增量等,但是源表里面的删除操作有时候 捕获不到(比如时间戳增量往往就没法捕获到源表中哪些数据被删除了),所以对于源表中的delete,可以这样来操作:
1.触发器增量,当有insert、update、detele的时候(触发器的创建方式可以参考博客https://www.cnblogs.com/fjhh/p/5370891.html)
2.根据参数进行小范围内的全量抽取,比如设置一个月份参数(例如8月份),先将目标表中8月份的数据全部删除;然后根据该参数过滤只抽取源表中8月份的数据
其它方式欢迎补充和探讨