-
-
wut 数据老手Lv5
发表于2021-7-21 14:36
楼主
本帖最后由 wut 于 2021-7-21 14:44 编辑
1、数据分析概念
数据分析是指用适当的统计学方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
1）数据分析流程
数据分析流程基本可以分为以下几个步骤：明确目标与需求、数据接入、数据处理、数据分析与探索、数据展现。分析结论和结果通过各种终端进行查看，用户从而发现数据中的问题，以及其中蕴含的规律和价值。
2）数据分析方法
分析方法的种类繁多，各行各业不尽相同，我在归纳总结一些常用的分析方法，提供给大家，也欢迎大家一起来丰富。
3）数据分析技术架构
2、商业智能概念
商业智能（Business Intelligence，简称：BI），又称商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能整个过程，可以通过分析工具处理企业中现有数据，并将其转换成知识、分析和结论，辅助业务或决策者做出正确且明智的决定。帮助企业更好地利用数据提高决策质量的技术，包含了从数据仓库到分析型系统等。
例如，阿尔伯克基市的就业者们使用BI软件来识别有效机会以减少使用手机通话、加班及其他营运开支，三年期间为这个城市节省了200万美元。同样地，在商业智能BI工具的帮助下，丰田汽车公司意识到公司曾对它的运货商“双倍”地付费，2000年总金额达812,000美元。
1）商业智能建设价值
a.数据整合，打通多系统的数据，解决掉数据壁垒问题，实现信息透明；
b.数据展示效率，提高报表的输出效率，期望能够更快更准更省事
c.管理决策，通过数据分析，辅助企业决策，实现科学化、数据化的决策。
2）商业智能建设步骤
a.业务分析需求的把控
对于很多准备或者正在规划商业智能BI项目的企业来说，业务分析需求的梳理是整个项目开始的第一步，往往也是最困难的，主要表现如下：业务部门往往提不出比较具体的分析需求，而IT部门很难深入到业务，也提不出适合业务部门的分析需求。BI项目需求分析涉及到很多部门，有的时候内部资源的沟通、协调都是很困难的…
那如何能够非常清晰的梳理好一个完整的业务分析需求，并且能够用业务部门能够理解的语言进行有效沟通？正确的做法是，提供方案的原型图，这样能激发业务人员说出需求的欲望，并让双方站在可以相互理解的角度沟通，最终出来的效果也能更好的符合企业的期望。
b.数据资源的整合清洗
企业的数据可能是来自外部系统，也可能来自内部的不同业务系统，比如CRM系统、ERP系统，或者业务人员的Execl表格，这些统称为数据源。这些数据通过ETL工具原封不动的抽取到一个叫做ODS或者STAGING的数据库先存放起来。这里需要注意数据是存放在一些数据表中，但是并不是所有的数据都需要抽取出来，只有有用的数据才会被抽取。涉及到一些数据需要去重、合并计算、格式转换，比如 15/10/22 转换成 2015-10-22等都属于转化阶段；加载阶段是，最后把数据统一加载到数据仓库中。
c.数据仓库的架构设计
数据仓库的开发，可以理解为一种技术，也可以理解为一种方法论或解决方案。在商业智能BI中，数据仓库就是最核心的那一层，起到的就是一个承上启下的作用。往下承接各类数据源中的数据，往上支撑各类可视化分析报表。数据仓库的构建水平将直接影响到商业智能BI项目的整体质量。
d.可视化分析与展现
以图表结合的形式生动直观地展示企业KPI指标，为领导提供的“一站式”决策支持
3）商业智能整体方案
目前市场上有很多专业的BI服务商都有成熟的解决方案，笔者在这推荐一个老版厂商亿信华辰，它深耕商务智能和大数据领域15年，服务了8000多合作客户，覆盖100多个细分行业，着眼于打造数据全生命周期的智能化产品线，致力于帮助企业和政府解决数据应用难题，实现企业生产力和政府治理能力的数字化转型。
今天先介绍BI领域的整体的解决方案，依托亿信ABI打造的一站式数据分析解决方案，从数据源接入，数据整合与处理、到指标体系构建，再到数据分析、挖掘与AI应用，打通数据全生命周期的各个环节，帮助企业有序的管理，深度挖掘企业的数据价值，提高企业管理效能。
数据分析：一般指的是对进行数据研究、探索的方法和手段，侧重强调分析的过程。
商业智能：是指通过数据分析的手段来完成企业信息化建设，实现商业价值的整个过程，它是一整套的解决方案。
数据分析是指用适当的统计学方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
1）数据分析流程
数据分析流程基本可以分为以下几个步骤：明确目标与需求、数据接入、数据处理、数据分析与探索、数据展现。分析结论和结果通过各种终端进行查看，用户从而发现数据中的问题，以及其中蕴含的规律和价值。
2）数据分析方法
分析方法的种类繁多，各行各业不尽相同，我在归纳总结一些常用的分析方法，提供给大家，也欢迎大家一起来丰富。
3）数据分析技术架构
对于企业而言，坐拥庞大的数据资源，想要实现大数据分析，首要的就是要搭建起自身的大数据系统平台，而每个公司都有自己特定的业务场景。在不同的业务场景下，需要根据实际的业务需求，选择适合自己的技术框架，来搭建自己的大数据架构体系。但是从技术架构体系的共性来说，是可以从通用的技术模块去理解，来帮助我们更好地学习和掌握大数据技术架构的。
大数据分析技术架构通用模块：
a.数据收集模块：主要负责收集各种数据源的数据，包括日志文件、网络请求、数据库、消息队列等，并将这些数据转换为文件或者消息向后传递。
b.数据转存模块：主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。
c.ETL模块：主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库等。
d.数据仓库模块：这是整个架构的核心，数据仓库是数据有组织的集中存储的地方，负责数据的存取和管理。
e.分析引擎模块：数据分析师交互最多的模块，主要负责执行各种分析语句或代码，完成各种分析任务。
商业智能（Business Intelligence，简称：BI），又称商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能整个过程，可以通过分析工具处理企业中现有数据，并将其转换成知识、分析和结论，辅助业务或决策者做出正确且明智的决定。帮助企业更好地利用数据提高决策质量的技术，包含了从数据仓库到分析型系统等。
例如，阿尔伯克基市的就业者们使用BI软件来识别有效机会以减少使用手机通话、加班及其他营运开支，三年期间为这个城市节省了200万美元。同样地，在商业智能BI工具的帮助下，丰田汽车公司意识到公司曾对它的运货商“双倍”地付费，2000年总金额达812,000美元。
1）商业智能建设价值
a.数据整合，打通多系统的数据，解决掉数据壁垒问题，实现信息透明；
b.数据展示效率，提高报表的输出效率，期望能够更快更准更省事
c.管理决策，通过数据分析，辅助企业决策，实现科学化、数据化的决策。
2）商业智能建设步骤
a.业务分析需求的把控
对于很多准备或者正在规划商业智能BI项目的企业来说，业务分析需求的梳理是整个项目开始的第一步，往往也是最困难的，主要表现如下：业务部门往往提不出比较具体的分析需求，而IT部门很难深入到业务，也提不出适合业务部门的分析需求。BI项目需求分析涉及到很多部门，有的时候内部资源的沟通、协调都是很困难的…
那如何能够非常清晰的梳理好一个完整的业务分析需求，并且能够用业务部门能够理解的语言进行有效沟通？正确的做法是，提供方案的原型图，这样能激发业务人员说出需求的欲望，并让双方站在可以相互理解的角度沟通，最终出来的效果也能更好的符合企业的期望。
b.数据资源的整合清洗
企业的数据可能是来自外部系统，也可能来自内部的不同业务系统，比如CRM系统、ERP系统，或者业务人员的Execl表格，这些统称为数据源。这些数据通过ETL工具原封不动的抽取到一个叫做ODS或者STAGING的数据库先存放起来。这里需要注意数据是存放在一些数据表中，但是并不是所有的数据都需要抽取出来，只有有用的数据才会被抽取。涉及到一些数据需要去重、合并计算、格式转换，比如 15/10/22 转换成 2015-10-22等都属于转化阶段；加载阶段是，最后把数据统一加载到数据仓库中。
c.数据仓库的架构设计
数据仓库的开发，可以理解为一种技术，也可以理解为一种方法论或解决方案。在商业智能BI中，数据仓库就是最核心的那一层，起到的就是一个承上启下的作用。往下承接各类数据源中的数据，往上支撑各类可视化分析报表。数据仓库的构建水平将直接影响到商业智能BI项目的整体质量。
d.可视化分析与展现
以图表结合的形式生动直观地展示企业KPI指标，为领导提供的“一站式”决策支持
3）商业智能整体方案
目前市场上有很多专业的BI服务商都有成熟的解决方案，笔者在这推荐一个老版厂商亿信华辰，它深耕商务智能和大数据领域15年，服务了8000多合作客户，覆盖100多个细分行业，着眼于打造数据全生命周期的智能化产品线，致力于帮助企业和政府解决数据应用难题，实现企业生产力和政府治理能力的数字化转型。
今天先介绍BI领域的整体的解决方案，依托亿信ABI打造的一站式数据分析解决方案，从数据源接入，数据整合与处理、到指标体系构建，再到数据分析、挖掘与AI应用，打通数据全生命周期的各个环节，帮助企业有序的管理，深度挖掘企业的数据价值，提高企业管理效能。
数据采集与补录
通过表单、表格填报的方式进行数据报送和补录，可设置数据校验和流程审批，来提高填报数据质量。补录数据直接入库，无缝参与最终决策分析报表的输出。
数据整合与处理
集数据建模及ETL设计的功能于一体，可对异构数据进行整合及处理，构建数据中心，提高数据质量。
指标体系管理
疏通企业数据指标，建设合理、有效的指标体系，提高分析效率，全面掌控业务发展情况。
数据分析及应用
a.报表分析：复杂报表统计与查询，灵活的钻取、切片，帮助用户快速发现和定位企业运营中的问题，为运营决策提供一站式数据支撑
b.敏捷分析：以业务人员为主导的敏捷BI应用，充分发挥其业务理解能力，灵活应用突发需求，让数据分析更高效！
c.报告应用：轻松支撑企业的周期性报告（日报、月报、年报）需求，减少员工重复性劳动，提高工作效率。
d.大屏可视化：内置上百余种可视化组件和3D特效，让数据“跃然屏上“，得到更形象、更直观的可视化呈现，智能预警实时监控数据变化。
挖掘与AI应用
a.数据挖掘：基于庞大的数据算法进行图形化数据探索，深入挖掘数据背后的价值，实现精准营销
b.智能分析：以“智问”、“智读”、“智算”三大核心功能的智能化决策体系，为您的组织打造数字化大脑
移动跨屏应用
全方位的数据可视化应用，一表多屏，无需专门设计，随时随地分析数据。
通过此方案可以实现如下商业价值：
