-
-
小亿 管理员
发表于2019-8-15 17:38
楼主
随着时代的发展，人类产生的数据成倍增长，数据的开放性应用和数据可挖掘价值越来越高。在大数据精准营销、大数据洞察等一系列热词背后，正是数据挖掘、分析技术发挥着重要的作用。数据挖掘技术不仅成为当今政务部门提升治理能力的重要手段，也成为各行各业提升核心竞争力的关键。
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但有潜在的有用信息和知识的过程。
可以看出，数据挖掘是一个过程结果的称谓，即主要目标是从数据中挖取隐藏的信息。它是一个交叉科学领域，受多个学科影响，包括数据库系统、统计、机器学习、可视化和信息科学。
举个简单点的例子：
- 通过统计购买某产品的人大多数来自北京，则北京是该产品的主要消费者居住的城市，这就是用的商业智能技术。
- 要从100000人中找出100个购买某产品概率比较大的客户，则可以通过利用统计方法建立数学模型找到这群人，而这就要用数据挖掘技术。
也就是说：
- 商业智能就是目标明确的创建统计分析报表，根据统计结果，提供商业决策支持，输入的是数据，输出的是信息。
- 数据挖掘则是透过数据的表象发现隐藏在背后的蛛丝马迹，从而找到潜伏的规律以及看似无关事物之间背后的联系，用此来洞察或预测未知事项，输入的是数据，输出的是知识。
根据数据挖掘的应用方向，常见的数据挖掘能解决的问题体现在下面几个方面。
1. 分类与回归
分类根据样本数据中标记的类别对原数据进行分类总结，进而也可以预测未来数据的归类。
回归是确定一种或多种变量间相互依赖关系的一种统计分析方法。
分类与回归本质上解决的都是预测问题，不同的是分类适用于离散型目标变量的预测，而回归适用于连续型目标变量的预测。下面这些问题可以用分类和回归技术来解决：
- 如何将信用卡申请人分为低、中、高风险群？
- 如何预测银行可以安全地贷给贷款人的贷款量？
- 如何有效预测房地产开发中存在的风险？
- 如何预测哪些顾客在未来半年内会取消该公司服务，哪些电话用户会申请增值服务？
- 如何预测具有某些特征的顾客是否会购买一台新的计算机？
- 使用3G通信网络的手机用户哪些有可能转换到 4G通信网络？
- 如何预测一位顾客在一次销售期间将花多少钱？
- 如何预测病人应当接受三种具体治疗方案的哪一种？
下图是一个基于决策树预测银行客户是否存在贷款风险的示例：
2. 聚类
聚类是在预先不知道欲划分类的情况下，根据数据相似度原则进行数据归类的方法。
中国有句古话是“物以类聚，人以群分”，其实已经蕴含了聚类算法的基本思想。聚类能解决如下方面的问题：
- 谁是银行信用卡的黄金客户？
- 谁喜欢打国际长途，在什么时间，打到那里？
- 如何对用户 WAP 上网行为进行分析，通过客户分群，进行精确营销？
- 对住宅区进行聚类，确定自动提款机 ATM 的安放位置。
- 如何通过一些特定的症状归纳某类特定的疾病？
例如下图，找到共性的数据，然后聚类显示：
3. 关联规则
关联规则在一个数据集中找出各个物品或者商品之间的关系，也被称为购物篮分析。
关联规则描述的是在一个事物中物品间同时出现的规律的知识模式，可以应用到很多实际业务中：
- 哪些商品是已经购买商品 A 的人最有可能购买的？
- 商业销售上，如何通过交叉销售，以得到更大的收入？
- 保险方面，如何分析索赔要求，发现潜在的欺诈行为？
- 银行方面，如何分析顾客消费行业，以便有针对性的向其推荐感兴趣的服务？
- 哪些制造零件和设备设置与故障事件关联？
- 哪些病人和药物属性与结果关联？
下图是某商场购物蓝推荐结果示例：
4. 时间序列预测
通过已有的时间序列数据进行类推，以预测下一段时间的趋势。
时间序列预测是在与时间相关的历史数据中，找到数据随时间变动的规律。你可以用来解决如下问题：
- 下个月的商品销量、销售额或库存量是多少？
- 明天广州市的最高用电负荷是多少？
下图是某公司红酒销量的预测图：
5. 关系网络分析
关系网络分析用来探索社会行动者及其间的关系，例如：社会关系、亲属关系、角色关系、行为关系、流动关系、地理空间关系等等。
关系网络分析也叫社会网络分析。通过社会网络分析，可以探索和发现行动者之间隐藏的关系。常见的关系有：
- 亲属关系：父母、子女、夫妻关系等。
- 正式关系（权威关系）：正式角色也是关系性的，如老板/职员、教师/学生、医生/病人关系等。
- 个人之间的评价关系：喜欢、信任、尊重等。
- 行为上的互动关系：行动者之间的自然交往，如谈话、参加会议、拜访、提建议等。
- 隶属关系：如参加一项协会、属于某些俱乐部等。
- 物质资本的传递：商业往来、物资交流。
- 非物质资源的转换关系：行动者之间的交往、信息的交换等。
- 空间关联：城市之间的关系，迁入和迁出。
- 职位的升迁，地位的流动。
下面是对《悲惨世界》一书中人物的关系网络分析的一个示例：
亿信华辰推出的数据挖掘产品亿信豌豆DM，让用户可以通过半自动化或者自动化地分析业务数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。
