ABI-数据源&主题表创建要点梳理

5194
2

yangqh 数据老手Lv5

发表于2019-7-29 14:08

楼主
ABI作为一款强大的一站式数据处理分析平台,很多功能和设计逻辑都比亿信BI要完善了很多。这次梳理了一下数据源和主题表创建相关功能,整理如下知识点分享出来,欢迎大家随时指教和补充~
>>数据源<<
一、文件数据源:
支持excel(xls和xlsx都支持)、txt、csv、DB,为避免上传文件太大导致页面崩溃,默认限制文件大小0~50M,该限制是在代码中写死,暂不支持配置;
以大字段形式存储在系统表{VERSIONID}_EDSO_FILE中;

二、接口数据源
1) 目前支持两种请求方式:post和get,且要求以json格式返回数据;
2) 新增接口数据源,默认带有id和pw两个参数,如果接口没有要求验证ID和pw,可直接删除;
3) 参数设置中定义参数后,会自动将指定参数拼接到接口地址中,感觉就类似BI中设置外链式钻取传参的逻辑;

设置示例:
图片1.png

>>主题表创建<<
一、物理主题表:
通过数据库表、自定义、文件、ETL方式建成的主题表;

1、通过文件数据源创建主题表:
1) 自动根据文件内容新建数据库表,数据库表命名规则为 F_filename,如果filename为中文,取拼音首字母;
2) 创建过程中,进入到数据预处理界面时,后台会自动在缺省连接池创建临时表,表名命名规则同上,主题表保存成功、失败、终止,这张临时表会自动删除;
3) 主题表保存成功后,指定保存到哪个主题集,(2)中创建的临时表就会被拷贝到对应主题集的映射连接池下

excel文件创建主题表:
l 字段起始行:哪一行作为字段名处理
l 数据起始行:从哪一行开始作为分析数据处理
l 选择工作表:如勾选多个sheet页,可将这些sheet页批量创建为多个主题表

2、ETL创建主题表:
创建方式:
表连接:将多个数据库表通过关联字段连接;
行转列:将一张数据库表中的记录行,按照某种规则转换到列上;
列转行:列转行和行转列是一个反向的操作,即将列上的值转换为行;
聚合:将数据库表的数据按照分组字段进行聚合,利用聚合函数对非分组字段数据进行处理;
批量抽取:根据数据库表批量创建主题表;

※ ODS层只有批量抽取的创建方式,整合层没有聚合的创建方式。

二、虚拟主题表:
根据其他主题创建;

三、SQL主题表:
根据sql查询语句创建;

参数设置:定义sql中的变量,sql中用宏表达式获取参数值(不过这个参数好像没办法跟报表模板的参数关联,应用场景感觉会比较局限)。
格式化:自动格式化当前sql语句排版
缓存类型:
Ø 内存:数据缓存到内存库。对应内存数据库表命名规则:ESIS+tablename,计算报表时会自动生成这张内存表,生效时间为主题表上设置的“缓存时间”。比如设置缓存时间为5分钟,那么自生成时间开始,5分钟内表中数据不更新,5分钟后该内存表自动溶解,直到再次生成。
Ø 数据库:数据缓存到数据库。表名命名规则和缓存时间规则同上。
Ø 不缓存:不做任何缓存,报表计算时,会把sql主题表的sql直接拼到报表计算sql中去。

四、接口主题表:
根据接口数据源创建,需定义处理脚本将数据转换成标准JSON格式(一般找研发写);
点击测试可查看查询结果,如下图:
图片2.png
缓存规则同sql主题表。










2个回答

只看楼主

辰哥 管理员

发表于2019-9-27 17:21

只看该作者

取消 关注该作者的回复

沙发

感谢大神的技能分享

hoppo 数据小白Lv1

发表于2021-7-13 10:59

只看该作者

取消 关注该作者的回复

板凳

主体表传参到底怎么用

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

渠道咨询电话:137-0120-6790

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号