-
-
宋宋 数据领袖Lv6
发表于2019-6-27 11:00
互联网数据分析大家都讨论的太多了，但是对物联网数据分析而言，却讲的太少。本文笔者将从对物联网数据进行分类出发，讲述：如何进行物联网数据分析？
在网上查了查，关于互联网数据、业务数据分析的文章比较多，但是关于物联网数据分析的文章几乎找不到，于是萌发了写一篇专门讲解物联网数据分析的文章，作为自己工作经验及方法论的复盘，同时也期望能够对各位童鞋有所启发。
一、引言
阅读过我上一篇文章《深度剖析物联网服务结构如何构建》的朋友应该比较清楚的知道：物联网服务究竟是如何运转的？包含哪些要素？每个部分起什么作用？如何运转？有哪些关键技术或者技能？
从传感器->设备->网关->服务器，整个路径能够很好地实现将数据采集到物联网平台，但是为什么要对这些数据做分析，如何应用这些数据，如何做好数据分析呢？
1. 什么是物联网数据
基于我们对于物联网服务构建的基础我们可以知道，物联网数据数据主要是指传感器和设备发过来的数据。这些数据一部分是对现实环境参数的采集值，一部分是设备的一些常规信息值，比如：状态、故障信息、错误代码、运行情况等。
物联网数据在任何情况下都会产生数据，无需人为参与就不会不断涌现出新的数据，其数据量远远大于传统业务系统的业务数据。
如果单纯的按照数据变化来对物联网数据进行分类，我们可以分为：静态数据和动态数据。
1）静态数据
指传感器或者设备的一些属性性质的数据，不增加新设备的情况下，不伴随时间的变化而变化，也不会随着时间的增长而增长。代表性的数据是设备ID、设备地址等，这种数据采用结构型、关系型数据库存储。
2）动态数据
指随着时间周期会发生变化的数据，每个数据都与时间值有对应关系，数据采用时序方式进行存储，数据量非常大，并且采集越频繁数据量越大。
其不仅仅会随着设备数量增加而增加，还会随着时间增加而增加。这样的数据通常情况下，我们会按照一定的时间进行删除，否则数据量会过大。根据一些行业的要求，通常情况下保存的年限设置在3~5年，具体的没有明确要求，关键是看自己所处行业的要求进行自行设定。
2. 为什么要做物联网数据分析
如果物联网只是负责采集一堆传感器和设备发过来的数据，那就只不过是一堆庞大的数据聚集在一起，产生不了实际的价值意义。
然而，在实际实践中我们可以发现，物联网数据非常有意思，经过分析我们可以利用传感器或者设备数据，清楚的知道设备的运行情况以及现实环境运营的趋势，帮助作出预判和提前作出响应。
比如：利用物联网的数据可以有效预判机械的故障，减少因为设备故障而带来的工作耽误。根据设备上传的设备状态信息值的变化，以及特定传感器采集的参数，就可以监测预判发生故障的概率，同时提前做出响应。这样就能够把一个物联网服务从一个单纯的数据采集，上升到一个能够不断创造附加值的服务层面。
同时，基于采集的数据的分析的运营，还可以重新构建企业新的运营模式，部分内容可以参照我的另外一篇文章《物联网技术如何助力企业转型升级》的相关阐述，整体来说物联网数据分析在新形式下的应用将会极大助力企业转型升级。
3. 物联网数据能做哪些方面的应用
物联网数据能够帮助我们做哪些方面的应用呢，总结下来可能主要有以下几个：
监控：将物联网数据直接可视化展示，就可以实现设备的状态监控，及时知道什么发生了什么。反控：当监测到异常数据需要干预时，可以直接通知对应的管理员，远程操控设备实现反控，提高操作效率，避免直接到设备现场。报表统计：基于物联网数据，我们可以根据实际的需求，对相关的历史数据做报表统计分析，按照不同的维度以图表或者图形的形式呈现给不同类型的用户，帮助他们快速直观知道设备的运行情况。预测/预判：基于数据分析模型，可以对一些事件做预判，提前获取概率性，以便及时作出响应，避免造成更大的损失，或者直接获取其他收益。人工智能：当数据及经验积累到一定程度，系统可以自动针对事件数据分析后，作出正确的响应，无需人工干预。基于此呢，我们基本上算是给大家说了一个基础的铺垫了。那么接下来，我们就要本次分享的重点了，我们来看：如何进行物联网数据分析，有哪些方法论，具体怎么实操呢？
二、数据分析准备工作
如果把数据分析比作炒菜，那么我们首先得准备一些原材料，那么对于数据分析，我们应该做哪些准备工作呢？
1. 数据采集
数据采集顾名思义就是采集我们需要用来做分析的数据，同时将这些数据以特定格式保存下来。通常情况下，数据分析会基于历史累计下来的数据，如果数量大，可以使用一些大数据工具进行处理，比如常用的Hadoop等。
数据采集的方式及过程，我们就不多说了，直接参照之前的文章，基本上就可以知道数据采集的流程及处理的过程。
2. 数据积累
数据积累就是将有用的数据保存下来，方便管理和提取。数据积累会用到数据库，这个在我们上一篇文章也有体积，不仅仅是结构化数据的关系型数据库，还有键值存储数据库等。
3. 数据预处理
数据预处理就是对数据进行加工，剔除没有用的或者异常的数据，提取有用的部分的信息，对数值进行处理等等。对数据进行必要的处理，形成汇集分析用的数据集，就是数据预处理的目的。
三、数据分析方法
基于数据应用的用途考虑，我们将数据分析方法姑且分为统计分析法和机器学习法。
其中统计分析法主要是依靠分析师手工进行分析，基于一定的目的提取数据，并进以各种形式进行展示。机器学习法呢，就是说的比较多的人工智能，主要依据对以往数据的学习，来推断未知的数据或者状态。
1. 统计分析法
统计分析其实还真没太多的需要说的，就是基于统计结果做呈现，用各种形式表示出来，达到直观呈现的目的。
如果按照步骤来讲，那么主要是以下几个步骤：
step1：决定你的信息
根据你手里面的数据，明确你想要的表达的具体信息是什么；
step2：确定相对关系
你确定的信息在一定程度上讲主要包括5种基本类别中的一种，成分、项目、时间顺序、频率分析及相关性；
step3：选择图表形式
每一种相对关系都可以引导出相对应的图表形式，常见的图表形式包含：饼图、条形图、柱形图、折线图、散点图，当然不是特别完整哈，我们只是列举。
下面我们来举一个例子，说明一下具体的使用：
比如家里面的智能燃气表采集了用气的数据，那么我们就可以用图形表示一定时间内用气量的变化，从而直观的掌握用气数据的变化趋势。
2. 机器学习法
机器学习主要是指：基于大量数据来学习数据的倾向，从而做出某些判断并执行对应的“动作”。
机器学习和数据挖掘是同根同生，二者都是基于数据进行某些推测和判断。统计分析法是是对采集数据进行呈现，数据被视为无机的数值，属于表层的数据分析。机器学习分析法主要是从数据中提取更复杂的倾向、规则、结构等信息，采用数学公式和规律模型来表现倾向。
说机器学习法之前，我们首先来说一下数据学习的类型，我们分为“规则学习”和“非规则学习”两个类别。
规则学习主要是指数据的答案是明确的，机器只需要将新的数据与正确答案进行比较即可做出判断。非规则学习则没有既定的正确的答案，需要根据数据的整体倾向然后找出异常值。
举个例子：我们将某一设备的故障值范围设定为12~28，直接基于这个范围就叫规则学习。而如果没有范围，那么就需要采用一定的算法让机器区分数据倾向，并且正确调出异常值了。
下面我们直接举几个例子，透过例子来理解应该来讲是更加直接的：
命题一：通过传感器采集到的数据，判断机器故障的原因。
对于这类问题，需要先定义清楚数据时非故障机器的还是故障机器的，然后再通过对比数据差异化找出因果关系最后形成判断依据，让机器具备判断能力。
命题二：通过各种因素因素来预测交通量。
说到预测分析，那么对于交通量的预测无疑是比较有意思的，通过传感器在一定的持续时间范围内对某条道路的交通量进行采集。
然后，再通过星期数、天气、时间段等因素的综合分析计算，那么就可以形成一套计算方法，并且在某一段时间内运用计算值与实际值进行对比，不断修正算法，就能够较为精准的预算某一天的交流通量，比如：交通量=a*星期数+b*天气情况+c+……
四、总结
关于物联网数据分析其实是与互联网数据分析有些相似的基础知识的，所以我们没讲那么多。
分析是基础，对于数据的应用的才是关键。具体对数据咋个应用，需要对行业和客户有较为深刻的理解，那么就需要我们产品经理户或者数据分析师对行业及业务非常的了解，然后再根据物联网数据特性制定相关方案，解决实际的问题。
来源互联网
