ETL-先排序,然后取最小的那条数据,用什么组件

813
5

omgg 数据小白Lv1

发表于2022-3-3 11:29

悬赏1

已解决

楼主

最近看过此主题的会员

coll

test_cxcc

颜值区总司令

最佳答案
您可以参考一下,我本地是使用的 表输入组件-排序组件-序号组件-过滤组件实现的
先使用排序组件排序,再使用排序组件给每一行加上序号,最后过滤出NUM_=1的数据
'
5个回答

只看楼主

颜值区总司令 数据老手Lv5

发表于2022-3-3 11:29

只看该作者

取消 关注该作者的回复

沙发

您可以参考一下,我本地是使用的 表输入组件-排序组件-序号组件-过滤组件实现的
先使用排序组件排序,再使用排序组件给每一行加上序号,最后过滤出NUM_=1的数据
'

omgg 数据小白Lv1

发表于2022-3-3 14:47

只看该作者

取消 关注该作者的回复

板凳

颜值区总司令 发表于 2022-3-3 14:20
您可以参考一下,我本地是使用的 表输入组件-排序组件-序号组件-过滤组件实现的
先使用排序组件排序,再使 ...

您好,很高兴收到您的回复,您提出的方案我看了下,在插入一条数据时比较适用,但是批量插入多条时就不适用了,如下所示:

步骤一:全部五条数据;
步骤二:需要将五条数据按班级分成两组,每组再按级别排序1<2<3;
步骤三:取每组中级别最小的插入
这种情况下需要的组件我就不清楚了

颜值区总司令 数据老手Lv5

发表于2022-3-3 16:03

只看该作者

取消 关注该作者的回复

地板

您看下这个例子呢,先使用过滤组件把两个班级的数据分开,如1L一样分别进行排序取NUM_=1,再用集合组件完成拼接功能,将多个结构一致的输入数据进行拼接整合,最后输出到目标表中

omgg 数据小白Lv1

发表于2022-3-3 16:11

只看该作者

取消 关注该作者的回复

5#

颜值区总司令 发表于 2022-3-3 16:03
您看下这个例子呢,先使用过滤组件把两个班级的数据分开,如1L一样分别进行排序取NUM_=1,再用集合组件完成 ...

但是在我们实际生产过程中,有几十万条数据,会分成十几万个组,总不能每个组写个过滤条件吧

颜值区总司令 数据老手Lv5

发表于2022-3-3 17:28

只看该作者

取消 关注该作者的回复

6#

本帖最后由 颜值区总司令 于 2022-3-3 17:31 编辑

您可以尝试用sql来实现
ETL组件的话使用sql输入和表输出就可以了

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

400咨询:400-0011-866

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号