[数据集成] 接口数据源集成方式如何配置接口实现分页抽取数据?

1890
4

linjia11lu 数据小白Lv1

发表于2022-5-20 00:11

悬赏1

未解决

楼主
接口数据源集成方式如何配置接口实现分页抽取数据?   
接口的pageIndex 页码参数如何配置传参实现数据一页一页抽取数据过来?

最近看过此主题的会员

槐序

esen_4PK37FE9K1

dora232

数据大白

4个回答

只看楼主

一点一点 数据老手Lv5

发表于2022-5-20 11:40

只看该作者

取消 关注该作者的回复

沙发

您可以参考下这个帖子
https://bbs.esensoft.com/thread-137351-1-1.html

linjia11lu 数据小白Lv1

发表于2022-5-20 13:09

只看该作者

取消 关注该作者的回复

板凳

一点一点 发表于 2022-5-20 11:40
您可以参考下这个帖子
https://bbs.esensoft.com/thread-137351-1-1.html

不太一样,看了还是设置不成功,需求是开发人员写了一个数据列表分页获取数据的接口,平台需要一页一页把数据同步过来,实现数据增量同步,现在创建任务还不知道怎么动态生成页数作为参数传给接口组件,循环获取数据。

yangqh 数据老手Lv5

发表于2022-5-20 14:37

只看该作者

取消 关注该作者的回复

地板

linjia11lu 发表于 2022-5-20 13:09
不太一样,看了还是设置不成功,需求是开发人员写了一个数据列表分页获取数据的接口,平台需要一页一页把 ...

接口数据源这里的传参,目前没有动态循环这么一说,需要手动赋值比如参数名称pageindex传2,就是获取的接口中第二页的数据
建议还是考虑用etl的思路去做抽数

linjia11lu 数据小白Lv1

发表于2022-5-20 14:49

只看该作者

取消 关注该作者的回复

5#

有的系统只能提供数据接口获取数据,接口就是分页返回数据的了。 数据量每天正在增长,手动赋值不太现实,数据有几千页,不可能每页建任务呢,需要动态的。

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

渠道咨询电话:137-0120-6790

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号