-
-
yzyz 初学数据Lv2
发表于2020-3-18 22:10
悬赏1
已解决
楼主
ABI522版本中1. 调度里并行执行ETL过程的上限是多少？和什么因素有关？2. ETL日志在执行过程中途是存放于数据库还是服务器内存中？担心缓存太多引起服务器宕机。
最近看过此主题的会员
最佳答案
本帖最后由 等等等哈 于 2020-3-19 10:56 编辑
调度任务并行执行的上限默认是5个，可以根据实际情况修改，在资源管理器中根目录/root/conf/server.xml文件中schedule_thread_count 的值，注意修改成功后，需要重启服务器才会生效，同时还要考虑ABI平台的“线程池”设置是否过小。
调度任务并行的个数与服务器所在的主机硬件配置、中间件内存设置以及ABI平台的“线程池”设置都有关联，想要更多的调度任务并行，主要先考虑主机硬件配置。当然，如果是数据量大的迁移，还得考虑磁盘的读写和网速。
etl日志都是存放在系统库中的
调度任务并行执行的上限默认是5个，可以根据实际情况修改，在资源管理器中根目录/root/conf/server.xml文件中schedule_thread_count 的值，注意修改成功后，需要重启服务器才会生效，同时还要考虑ABI平台的“线程池”设置是否过小。
调度任务并行的个数与服务器所在的主机硬件配置、中间件内存设置以及ABI平台的“线程池”设置都有关联，想要更多的调度任务并行，主要先考虑主机硬件配置。当然，如果是数据量大的迁移，还得考虑磁盘的读写和网速。
etl日志都是存放在系统库中的
1个回答
本帖最后由 等等等哈 于 2020-3-19 10:56 编辑
调度任务并行执行的上限默认是5个，可以根据实际情况修改，在资源管理器中根目录/root/conf/server.xml文件中schedule_thread_count 的值，注意修改成功后，需要重启服务器才会生效，同时还要考虑ABI平台的“线程池”设置是否过小。
调度任务并行的个数与服务器所在的主机硬件配置、中间件内存设置以及ABI平台的“线程池”设置都有关联，想要更多的调度任务并行，主要先考虑主机硬件配置。当然，如果是数据量大的迁移，还得考虑磁盘的读写和网速。
etl日志都是存放在系统库中的
