-
-
小亿 管理员
发表于2020-3-3 18:49
楼主
第二期ABI之ETL数据处理整合直播课作业打卡
打卡要求按照如下示例，在本帖下面跟帖打卡。
#第二期ETL数据处理整合作业打卡#+本期直播课具体的感受+本期直播课随堂作业+你的疑问+其他的想法。
*注：标红的部分必须要加上。
本期直播随堂作业：
第二期ABI之ETL数据处理整合直播课详情
>> 直播课程主题 <<
亿信ABI系列直播课第二期：ETL数据处理整合
>> 直播时间 <<
2020年3月3日（周二） 15:00~17:00
>> 直播课程大纲 <<
1.数据建模理论
2.ETL组件介绍
3.ETL过程及调度
4.ETL过程操作演示
>> 直播讲师 <<
谢程——亿信华辰资深产品售前咨询师，华为项目运营技术经理，
拥有多年的数据项目工作经验，具有丰富的数据处理能力和实战经验。
直播课件已上传，可点击下载学习
第二期：ETI数据处理整合.pdf
(2.28 MB, 下载次数: )
直播视频已上传，大家可以点击以下链接学习:https://www.esensoft.com/video/play/code/Mjk0.html?type=1
打卡要求按照如下示例，在本帖下面跟帖打卡。
#第二期ETL数据处理整合作业打卡#+本期直播课具体的感受+本期直播课随堂作业+你的疑问+其他的想法。
*注：标红的部分必须要加上。
本期直播随堂作业：
第二期ABI之ETL数据处理整合直播课详情
>> 直播课程主题 <<
亿信ABI系列直播课第二期：ETL数据处理整合
>> 直播时间 <<
2020年3月3日（周二） 15:00~17:00
>> 直播课程大纲 <<
1.数据建模理论
2.ETL组件介绍
3.ETL过程及调度
4.ETL过程操作演示
>> 直播讲师 <<
谢程——亿信华辰资深产品售前咨询师，华为项目运营技术经理，
拥有多年的数据项目工作经验，具有丰富的数据处理能力和实战经验。
直播课件已上传，可点击下载学习
第二期：ETI数据处理整合.pdf
(2.28 MB, 下载次数: )
直播视频已上传，大家可以点击以下链接学习:https://www.esensoft.com/video/play/code/Mjk0.html?type=1
亿信ABI线上学习训练营8期线上直播学习已经全部结束，
我们将安排在3月30日晚在训练营社群结营。
届时会发放结业证书+公布优秀学员名单+发放连续8期打卡福利（价值688元BIDemo解析资料包（数量不限）和亿信华辰周边礼品）。
学完的同学可前往以下地址测试是否合格（60分及格哟）
其他期学习和打卡地址（直播视频和课件都已上传）：大家打卡赶紧补起来（能不能结业的关键哟）
最近看过此主题的会员
69个回答
24#
本期直播用户答疑：
问题一：增量更新如何根据多个字段增量？主键也不定可靠，对于修改数据的如果只是在原来的基础上改状态时该如何进行操作呢？
讲师回答：
在定义时可以直接勾选多个字段，那么勾选的字段即为联合主键。如下图：
问题二：
表抽取时，是否可以有类似一键的功能，需要抽取的表太多(几个系统加起来有200左右)？
讲师回答：
在ABI中具备批量抽取的功能，在主题集先选择批量抽取即可，如下图：
问题三：
sql创建模型是否有平台的特殊语法和帮助？
讲师回答：
Sql创建模型并没有特殊的语法，符合sql通用标准，所以没有设置帮助功能。
问题四：
ETL分层是什么意思？讲师回答：
我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，如能够清晰的了解数据的结构，方便我们了解数据的来龙去脉并减少数据的重复开发工作。
问题五：
分组是什么概念？讲师回答：
在产品中分组的概念就类似我们文件夹，能够将一些有共同属性的ETL过程整合在一起，方便后期的运维。
问题六：
脱敏是什么情况下用的组件？讲师回答：
例如数据库中有一个表为人员信息表，其中包含身份证号的字段，对外提供数据时不能将这些敏感的数据发出来，那么就可以使用脱敏组件做一下处理，例如将中间4位替换成*显示。
问题七：
源数据来自于文件和数据库能否用调度设置？讲师回答：
调度是针对ETL过程设置的，与数据的来源无关。
问题八：
数据处理过程中，有很多数据源，有很多表，如何进行数据分类、分级？讲师回答：
在创建数据源的时候可以创建不同的分组区分，对于表的管理可以创建不同的主题集或分组进行管理。
问题九：
数据整合，流程设计有很多规则，除了流程，有没有其他查看或统计规则的入口？讲师回答：
目前只能在流程中进行查看。
问题十：
数据整合，脱敏组件有哪些功能?讲师回答：
固定值替换、数据模糊化、数据裁剪、MD5加密、哈希处理、随机填充、偏移值加密等。
问题十一：
数据整合，各种组件，是否支持定制组件？怎么开发？讲师回答：
产品支持二次开发功能，可以提供API文档。
问题十二：
数据整合中的调度任务，邮箱的格式无法识别的自建域名（类似@xx.xxx.com.cn这种），该怎么修改？讲师回答：
目前产品中采用是通用的邮箱格式如@xx.com或@xx.cn等，如果后续有类似的需求，我们可以根据具体的格式进行修改。
问题十三：
数据整合中的调度任务，没有日志记录数据量的统计图，来监控记录的时间变化趋势，来分析业务异常。讲师回答：
对于日志统计数据量的功能，目前还在开发中，会把您的意见反馈给产品研发，加快产品研发工作，感谢您的反馈。
问题十四：
数据整合中的自建短信平台能否调用？讲师回答：
产品默认采用邮箱的方式通知，但产品提供二次开发，如果项目中用到了自建短信平台，可根据具体需求进行对接。
问题十五：
数据整合任务较多时，对应用服务器的资源情况如何，最大可同时并行多少个过程？讲师回答：
此问题要根据具体的场景，要综合考虑服务器的性能、数据库的性能、传输的数据量以及网速等各方面因素，在每一个产品发版之前我们都会进行严格的性能测试，完全满足大部分项目的性能要求。
本帖最后由 wish 于 2020-3-30 10:45 编辑
#第二期ETL数据处理整合作业打卡# 打卡
