-
-
yangqh 数据老手Lv5
发表于2019-7-29 14:08
楼主
ABI作为一款强大的一站式数据处理分析平台，很多功能和设计逻辑都比亿信BI要完善了很多。这次梳理了一下数据源和主题表创建相关功能，整理如下知识点分享出来，欢迎大家随时指教和补充~
>>数据源<<
一、文件数据源：
二、接口数据源
>>主题表创建<<
一、物理主题表：
1、通过文件数据源创建主题表：
2、ETL创建主题表：
二、虚拟主题表：
三、SQL主题表：
四、接口主题表：
>>数据源<<
一、文件数据源：
支持excel（xls和xlsx都支持）、txt、csv、DB，为避免上传文件太大导致页面崩溃，默认限制文件大小0~50M，该限制是在代码中写死，暂不支持配置；
以大字段形式存储在系统表{VERSIONID}_EDSO_FILE中；
二、接口数据源
1) 目前支持两种请求方式：post和get，且要求以json格式返回数据；
2) 新增接口数据源，默认带有id和pw两个参数，如果接口没有要求验证ID和pw，可直接删除；
3) 参数设置中定义参数后，会自动将指定参数拼接到接口地址中，感觉就类似BI中设置外链式钻取传参的逻辑；
设置示例：
>>主题表创建<<
一、物理主题表：
通过数据库表、自定义、文件、ETL方式建成的主题表；
1、通过文件数据源创建主题表：
1) 自动根据文件内容新建数据库表，数据库表命名规则为 F_filename，如果filename为中文，取拼音首字母；
2) 创建过程中，进入到数据预处理界面时，后台会自动在缺省连接池创建临时表，表名命名规则同上，主题表保存成功、失败、终止，这张临时表会自动删除；
3) 主题表保存成功后，指定保存到哪个主题集，（2）中创建的临时表就会被拷贝到对应主题集的映射连接池下
excel文件创建主题表：
l 字段起始行：哪一行作为字段名处理
l 数据起始行：从哪一行开始作为分析数据处理
l 选择工作表：如勾选多个sheet页，可将这些sheet页批量创建为多个主题表
创建方式：
表连接：将多个数据库表通过关联字段连接；
行转列：将一张数据库表中的记录行，按照某种规则转换到列上；
列转行：列转行和行转列是一个反向的操作，即将列上的值转换为行；
聚合：将数据库表的数据按照分组字段进行聚合，利用聚合函数对非分组字段数据进行处理；
批量抽取：根据数据库表批量创建主题表；
※ ODS层只有批量抽取的创建方式，整合层没有聚合的创建方式。
根据其他主题创建；
根据sql查询语句创建；
参数设置：定义sql中的变量，sql中用宏表达式获取参数值（不过这个参数好像没办法跟报表模板的参数关联，应用场景感觉会比较局限）。
格式化：自动格式化当前sql语句排版
缓存类型：
Ø 内存：数据缓存到内存库。对应内存数据库表命名规则：ESIS+tablename，计算报表时会自动生成这张内存表，生效时间为主题表上设置的“缓存时间”。比如设置缓存时间为5分钟，那么自生成时间开始，5分钟内表中数据不更新，5分钟后该内存表自动溶解，直到再次生成。
Ø 数据库：数据缓存到数据库。表名命名规则和缓存时间规则同上。
Ø 不缓存：不做任何缓存，报表计算时，会把sql主题表的sql直接拼到报表计算sql中去。
四、接口主题表：
根据接口数据源创建，需定义处理脚本将数据转换成标准JSON格式（一般找研发写）；
点击测试可查看查询结果，如下图：
缓存规则同sql主题表。
