登录/注册
    我的位置：首页 › 一站式数据分析平台-亿信ABI › 亿信ABI-问题求助 › 带参数的ETL过程，直接执行可以成功，在调度 ...

    [ABI 5.2] 带参数的ETL过程，直接执行可以成功，在调度中执行就报错

    复制链接 | 收藏本帖
    10760
    4

    fishyahoo 初学数据Lv2

    发表于2021-5-11 16:34

    悬赏10

    已解决

    楼主
    1. 新建了一个ETL过程，设置了两个参数，用于传给shell脚本用，测试运行没问题。2. 再新建一个过程流，里面只有这一个ETL过程，直接运行不成功，提示没参数，就在ETL过程流也加了一层参数传给ETL过程，这回执行也成功。
    3 .新建了一个调度，在调度里放了ETL过程流。执行调度能成功弹出参数框，但是输入参数后执行报错。

    执行过程见视频链接：
    https://v.youku.com/v_show/id_XNTE1MjQ3MjM5Mg==.html


    最近看过此主题的会员

    mengchenlong

    zhouxm

    最佳答案

    zengxq

    发表于2021-5-11 16:34

    丨

    只看该作者

    丨

    取消 关注该作者的回复

    本帖最后由 bbs 于 2021-5-13 11:38 编辑

    检查数据长度不超过目的表的字段定义。如果确认字段长度没有问题，就应该是遇到了程序缺陷bug，需要您私聊提供项目名称和详细的ABI产品版本号，为您联系开发人员处理该问题。
    QQ空间 微信
    4个回答

    只看楼主

    zengxq 数据达人Lv4

    发表于2021-5-11 17:14

    丨

    只看该作者

    丨

    取消 关注该作者的回复

    沙发

    您能将报错信息复制粘贴上来吗？视频里面太模糊了，看不清楚。

    回复

    fishyahoo 初学数据Lv2

    发表于2021-5-11 17:15

    丨

    只看该作者

    丨

    取消 关注该作者的回复

    板凳

    zengxq 发表于 2021-5-11 17:14
    您能将报错信息复制粘贴上来吗？视频里面太模糊了，看不清楚。

    2021-05-11 17:15:28 计划任务[报文]开始执行
    2021-05-11 17:15:28 正在执行ETL调度...
    2021-05-11 17:15:28 开始执行ETL过程流：ETL过程流_报文
    2021-05-11 17:15:28 开始执行任务：开始
    2021-05-11 17:15:28 结束执行任务：开始
    2021-05-11 17:15:28 开始执行任务：参数赋值1
    2021-05-11 17:15:28 结束执行任务：参数赋值1
    2021-05-11 17:15:28 开始执行任务：报文生成
    2021-05-11 17:15:28 开始执行ETL过程：[报文生成]
    2021-05-11 17:15:28 开始执行组件：参数赋值1
    2021-05-11 17:15:28 结束执行组件：参数赋值1
    2021-05-11 17:15:28 开始执行组件：报文
    2021-05-11 17:15:28 溶解前脚本：
    /root/llbb/llbb.sh <#=pdate#> <#=ptype#>
    2021-05-11 17:15:28 溶解前脚本：
    /root/llbb/llbb.sh
    Traceback (most recent call last):
    File "/root/llbb/main.py", line 278, in
    bbq = sys.argv[1]
    IndexError: list index out of range
    2021-05-11 17:15:28 执行shell组件脚本异常
    2021-05-11 17:15:28 com.esen.exception.RuntimeException4I18N: 执行脚本出现异常:
    [#!/bin/bash
    /root/llbb/llbb.sh ]
        at com.esen.util.ExceptionHandler.throwRuntimeException(ExceptionHandler.java:247)
        at com.esen.util.cmd.ShellUtils.processCommand(ShellUtils.java:189)
        at com.esen.util.cmd.ShellUtils.executeShell(ShellUtils.java:103)
        at com.esen.edf.domain.job.widget.EtlWidgetShell.process(EtlWidgetShell.java:53)
        at com.esen.edf.domain.job.EtlJob.processEtlJob(EtlJob.java:552)
        at com.esen.edf.domain.job.EtlJob.process(EtlJob.java:445)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.doExecute(EtlTaskJob.java:189)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeEtlJob(EtlTaskJob.java:161)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeMutexResource(EtlTaskJob.java:150)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.process(EtlTaskJob.java:125)
        at com.esen.edf.domain.flow.EtlFlow.executeTask(EtlFlow.java:602)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:441)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processEtlFlow(EtlFlow.java:432)
        at com.esen.edf.domain.flow.EtlFlow.process(EtlFlow.java:390)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:129)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:50)
        at com.esen.eschedule.RunabledScheduledTask.doRun(RunabledScheduledTask.java:198)
        at com.esen.eschedule.RunabledScheduledTask.access$000(RunabledScheduledTask.java:41)
        at com.esen.eschedule.RunabledScheduledTask$1.run(RunabledScheduledTask.java:283)
        at com.esen.scheduling.LocaleTask.run(LocaleTask.java:101)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
    Caused by: com.esen.exception.RuntimeException4I18N: 执行：[#!/bin/bash
    /root/llbb/llbb.sh ]出现异常
        ... 29 more
    2021-05-11 17:15:28 执行ETL过程[报文生成]出现异常：com.esen.exception.RuntimeException4I18N: 执行脚本出现异常:
    [#!/bin/bash
    /root/llbb/llbb.sh ]
        at com.esen.util.ExceptionHandler.throwRuntimeException(ExceptionHandler.java:247)
        at com.esen.util.cmd.ShellUtils.processCommand(ShellUtils.java:189)
        at com.esen.util.cmd.ShellUtils.executeShell(ShellUtils.java:103)
        at com.esen.edf.domain.job.widget.EtlWidgetShell.process(EtlWidgetShell.java:53)
        at com.esen.edf.domain.job.EtlJob.processEtlJob(EtlJob.java:552)
        at com.esen.edf.domain.job.EtlJob.process(EtlJob.java:445)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.doExecute(EtlTaskJob.java:189)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeEtlJob(EtlTaskJob.java:161)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeMutexResource(EtlTaskJob.java:150)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.process(EtlTaskJob.java:125)
        at com.esen.edf.domain.flow.EtlFlow.executeTask(EtlFlow.java:602)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:441)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processEtlFlow(EtlFlow.java:432)
        at com.esen.edf.domain.flow.EtlFlow.process(EtlFlow.java:390)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:129)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:50)
        at com.esen.eschedule.RunabledScheduledTask.doRun(RunabledScheduledTask.java:198)
        at com.esen.eschedule.RunabledScheduledTask.access$000(RunabledScheduledTask.java:41)
        at com.esen.eschedule.RunabledScheduledTask$1.run(RunabledScheduledTask.java:283)
        at com.esen.scheduling.LocaleTask.run(LocaleTask.java:101)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
    Caused by: com.esen.exception.RuntimeException4I18N: 执行：[#!/bin/bash
    /root/llbb/llbb.sh ]出现异常
        ... 29 more
    2021-05-11 17:15:28 com.esen.exception.RuntimeException4I18N: 执行脚本出现异常:
    [#!/bin/bash
    /root/llbb/llbb.sh ]
        at com.esen.util.ExceptionHandler.throwRuntimeException(ExceptionHandler.java:247)
        at com.esen.util.cmd.ShellUtils.processCommand(ShellUtils.java:189)
        at com.esen.util.cmd.ShellUtils.executeShell(ShellUtils.java:103)
        at com.esen.edf.domain.job.widget.EtlWidgetShell.process(EtlWidgetShell.java:53)
        at com.esen.edf.domain.job.EtlJob.processEtlJob(EtlJob.java:552)
        at com.esen.edf.domain.job.EtlJob.process(EtlJob.java:445)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.doExecute(EtlTaskJob.java:189)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeEtlJob(EtlTaskJob.java:161)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeMutexResource(EtlTaskJob.java:150)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.process(EtlTaskJob.java:125)
        at com.esen.edf.domain.flow.EtlFlow.executeTask(EtlFlow.java:602)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:441)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processEtlFlow(EtlFlow.java:432)
        at com.esen.edf.domain.flow.EtlFlow.process(EtlFlow.java:390)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:129)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:50)
        at com.esen.eschedule.RunabledScheduledTask.doRun(RunabledScheduledTask.java:198)
        at com.esen.eschedule.RunabledScheduledTask.access$000(RunabledScheduledTask.java:41)
        at com.esen.eschedule.RunabledScheduledTask$1.run(RunabledScheduledTask.java:283)
        at com.esen.scheduling.LocaleTask.run(LocaleTask.java:101)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
    Caused by: com.esen.exception.RuntimeException4I18N: 执行：[#!/bin/bash
    /root/llbb/llbb.sh ]出现异常
        ... 29 more
    2021-05-11 17:15:28 结束执行任务：报文生成
    2021-05-11 17:15:28 com.esen.exception.RuntimeException4I18N: 执行脚本出现异常:
    [#!/bin/bash
    /root/llbb/llbb.sh ]
        at com.esen.util.ExceptionHandler.throwRuntimeException(ExceptionHandler.java:247)
        at com.esen.util.cmd.ShellUtils.processCommand(ShellUtils.java:189)
        at com.esen.util.cmd.ShellUtils.executeShell(ShellUtils.java:103)
        at com.esen.edf.domain.job.widget.EtlWidgetShell.process(EtlWidgetShell.java:53)
        at com.esen.edf.domain.job.EtlJob.processEtlJob(EtlJob.java:552)
        at com.esen.edf.domain.job.EtlJob.process(EtlJob.java:445)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.doExecute(EtlTaskJob.java:189)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeEtlJob(EtlTaskJob.java:161)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeMutexResource(EtlTaskJob.java:150)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.process(EtlTaskJob.java:125)
        at com.esen.edf.domain.flow.EtlFlow.executeTask(EtlFlow.java:602)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:441)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processEtlFlow(EtlFlow.java:432)
        at com.esen.edf.domain.flow.EtlFlow.process(EtlFlow.java:390)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:129)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:50)
        at com.esen.eschedule.RunabledScheduledTask.doRun(RunabledScheduledTask.java:198)
        at com.esen.eschedule.RunabledScheduledTask.access$000(RunabledScheduledTask.java:41)
        at com.esen.eschedule.RunabledScheduledTask$1.run(RunabledScheduledTask.java:283)
        at com.esen.scheduling.LocaleTask.run(LocaleTask.java:101)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
    Caused by: com.esen.exception.RuntimeException4I18N: 执行：[#!/bin/bash
    /root/llbb/llbb.sh ]出现异常
        ... 29 more
    2021-05-11 17:15:28 结束执行ETL过程流：ETL过程流_报文
    2021-05-11 17:15:28 执行计划任务出现异常com.esen.exception.RuntimeException4I18N: 执行脚本出现异常:
    [#!/bin/bash
    /root/llbb/llbb.sh ]
        at com.esen.util.ExceptionHandler.throwRuntimeException(ExceptionHandler.java:247)
        at com.esen.util.cmd.ShellUtils.processCommand(ShellUtils.java:189)
        at com.esen.util.cmd.ShellUtils.executeShell(ShellUtils.java:103)
        at com.esen.edf.domain.job.widget.EtlWidgetShell.process(EtlWidgetShell.java:53)
        at com.esen.edf.domain.job.EtlJob.processEtlJob(EtlJob.java:552)
        at com.esen.edf.domain.job.EtlJob.process(EtlJob.java:445)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.doExecute(EtlTaskJob.java:189)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeEtlJob(EtlTaskJob.java:161)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.executeMutexResource(EtlTaskJob.java:150)
        at com.esen.edf.domain.flow.tasks.EtlTaskJob.process(EtlTaskJob.java:125)
        at com.esen.edf.domain.flow.EtlFlow.executeTask(EtlFlow.java:602)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:441)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processTaskOneByOne(EtlFlow.java:529)
        at com.esen.edf.domain.flow.EtlFlow.processEtlTask(EtlFlow.java:511)
        at com.esen.edf.domain.flow.EtlFlow.processEtlFlow(EtlFlow.java:432)
        at com.esen.edf.domain.flow.EtlFlow.process(EtlFlow.java:390)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:129)
        at com.esen.edf.schedule.EtlFlowScheduledTaskRunner.execute(EtlFlowScheduledTaskRunner.java:50)
        at com.esen.eschedule.RunabledScheduledTask.doRun(RunabledScheduledTask.java:198)
        at com.esen.eschedule.RunabledScheduledTask.access$000(RunabledScheduledTask.java:41)
        at com.esen.eschedule.RunabledScheduledTask$1.run(RunabledScheduledTask.java:283)
        at com.esen.scheduling.LocaleTask.run(LocaleTask.java:101)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
    Caused by: com.esen.exception.RuntimeException4I18N: 执行：[#!/bin/bash
    /root/llbb/llbb.sh ]出现异常
        ... 29 more

    回复

    fishyahoo 初学数据Lv2

    发表于2021-5-11 17:17

    丨

    只看该作者

    丨

    取消 关注该作者的回复

    地板

    zengxq 发表于 2021-5-11 17:14
    您能将报错信息复制粘贴上来吗？视频里面太模糊了，看不清楚。

    上一个回帖把报错信息发给你了。
    我其实是想用ETL调用一个python，但是不能支持python调用，就用etl调shell，shell里再调python。需要传两个参数

    回复

    zengxq 数据达人Lv4

    发表于2021-5-11 16:34

    丨

    只看该作者

    丨

    取消 关注该作者的回复

    5#

    本帖最后由 bbs 于 2021-5-13 11:38 编辑

    检查数据长度不超过目的表的字段定义。如果确认字段长度没有问题，就应该是遇到了程序缺陷bug，需要您私聊提供项目名称和详细的ABI产品版本号，为您联系开发人员处理该问题。

    回复

    登录后可回答问题，请登录或注册

    有问题，来提问！
    我要发帖
    热门推荐
    热门视频
    热门产品推荐
    快速回复 返回顶部 返回列表

    小时

    全天响应

    分钟

    快速处理问题

    工程师强势助力

    明星产品
    一站式数据分析平台-亿信ABI
    智能数据治理平台-睿治
    解决方案
    大数据治理方案
    数据标准化及质量管控方案
    主数据管理方案
    数据资产盘点方案
    联系合作

    400咨询：400-0011-866

    技术支持QQ：400-0011-866(工作日9:00-18:00)

    产品建议邮箱yixin@esensoft.com

    关注我们

    扫TA学习更多干货

    一对一专家交流

    版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号