我的位置：首页 › 智能数据治理平台-睿治 › 睿治-问题求助 › 睿治如何分页抽取千万级别的数据 ...

[数据交换] 睿治如何分页抽取千万级别的数据

复制链接 | 收藏本帖

7027

: AlexisP 小试身手Lv3

发表于2020-9-22 10:28

悬赏100

已解决

楼主

系统版本睿治V2.2.1

目标是抽取mysql库里的4、5千万体量的数据，有个核心问题就是如何分页和如何将页码输出

怎样能用睿治实现从1到100的每个数按从小到大的顺序依次输出并循环，直到变为100停止

有没有具体的案例可以参考？

最佳答案

: xxxl

发表于2020-9-22 10:28

丨

只看该作者

丨

取消关注该作者的回复

AlexisP 发表于 2020-9-23 10:40
有样例吗，或者可以作为参考的实例

这里有个类似的方法您可以参考一个

QQ空间微信

14个回答

只看楼主

: xxxl 数据领袖Lv6

发表于2020-9-22 10:41

丨

只看该作者

丨

取消关注该作者的回复

沙发

并没有做从1到100的每个数按从小到大的顺序依次输出并循环的效果，如果有需要建议有定制流程来做

: AlexisP 小试身手Lv3

发表于2020-9-22 11:10

丨

只看该作者

丨

取消关注该作者的回复

板凳

xxxl 发表于 2020-9-22 10:41
并没有做从1到100的每个数按从小到大的顺序依次输出并循环的效果，如果有需要建议有定制流程来做 ...

有没有能循环的组件，或者在组件里设置能循环的

: xxxl 数据领袖Lv6

发表于2020-9-22 11:14

丨

只看该作者

丨

取消关注该作者的回复

地板

本帖最后由 xxxl 于 2020-9-22 11:17 编辑

AlexisP 发表于 2020-9-22 11:10
有没有能循环的组件，或者在组件里设置能循环的

有的，在任务流这里可以设置

可以对一个设计好的任务设置循环次数

: AlexisP 小试身手Lv3

发表于2020-9-22 11:26

丨

只看该作者

丨

取消关注该作者的回复

循环次数的参数怎么设置，可以写sql吗

: xxxl 数据领袖Lv6

发表于2020-9-22 11:28

丨

只看该作者

丨

取消关注该作者的回复

AlexisP 发表于 2020-9-22 11:26
循环次数的参数怎么设置，可以写sql吗

可以在任务流中sql查一下然后再参数中写

: AlexisP 小试身手Lv3

发表于2020-9-22 11:34

丨

只看该作者

丨

取消关注该作者的回复

但是每一个任务流只能有一个参数吧？

: xxxl 数据领袖Lv6

发表于2020-9-22 11:36

丨

只看该作者

丨

取消关注该作者的回复

AlexisP 发表于 2020-9-22 11:34
但是每一个任务流只能有一个参数吧？

是的，这里只能设置一个

: AlexisP 小试身手Lv3

发表于2020-9-22 17:56

丨

只看该作者

丨

取消关注该作者的回复

这个循环次数是怎么定义的，有样例吗，或者可以用sql查出来吗

: AlexisP 小试身手Lv3

发表于2020-9-23 10:40

丨

只看该作者

丨

取消关注该作者的回复

10#

xxxl 发表于 2020-9-22 11:28
可以在任务流中sql查一下然后再参数中写

有样例吗，或者可以作为参考的实例

: xxxl 数据领袖Lv6

发表于2020-9-22 10:28

丨

只看该作者

丨

取消关注该作者的回复

11#

AlexisP 发表于 2020-9-23 10:40
有样例吗，或者可以作为参考的实例

这里有个类似的方法您可以参考一个

登录后可回答问题，请登录或注册

有问题，来提问！

我要发帖

亿信社区

[数据交换] 睿治如何分页抽取千万级别的数据

14个回答

有问题，来提问！