-
-
江湖人称潇洒哥 数据达人Lv4
发表于2019-10-21 11:17
楼主
本帖最后由 江湖人称潇洒哥 于 2019-10-21 11:18 编辑
目前我们需要继续寻找方法来快速和更准确地准备数据，以解决他们的数据相关的问题并支持机器学习(ML)。但是，在将数据引入机器学习模型或任何其他分析项目之前，确保数据干净、一致和准确是非常重要的。因为目前的数据分析很大程度上依赖于数据的上下文，所以任务最好由那些最接近数据的人来完成，也就是哪些能够将预感、理论和业务知识应用于数据的业务领域专家。
不幸的是，业务用户通常不具备数据科学技能，因此弥补这一差距可能会影响从数据中获取价值的速度。因此，许多人都在应用数据准备(DP)来帮助数据科学家和机器学习开发人员快速准备和标注他们的企业数据，以便在企业中扩展数据对于数据分析工作的价值。
数据采集和准备是如何成为可信赖的机器学习模型的基础的呢？
要创建一个成功的机器学习模型，必须有能力在部署到生产环境之前对它们进行训练、测试和验证。数据准备技术正在被用来创建现代机器学习所需的数据清洗和数据标注的基础，但是，从历史上看，好的DP比机器学习过程的任何其他部分都要花费更多的时间。
减少数据准备所需的时间已经变得越来越重要，因为加速它可以留下更多的时间来测试、调试和优化模型，从而创造更大的价值。为分析和机器学习计划准备数据，团队可以通过以下六个关键步骤加速机器学习和数据科学项目，让用户切实体验到加速和自动化data-to-insight的流程:
第1步：数据采集
这是目前为止最重要的第一步，因为它处理了共同的挑战，包括:
- 自动确定存储在.csv文件中的字符串数据中的相关属性
- 将高度嵌套的数据结构(如XML或JSON文件中的数据结构)解析为表格形式，以方便扫描和模式的检测。
- 搜索和识别来自外部存储库的相关数据。
但是，在考虑DP解决方案时，请确保它可以将多个文件合并到一个输入中，比如说你有一组代表日常事务的文件时，而你的机器学习模型需要提取一年的数据。此外，一定要准备好应急计划，以克服数据集和机器学习模型中的抽样和偏差相关的问题。
第2步：数据探索和分析
数据收集好了之后，就应该开始评估它的状况，包括寻找趋势、离群点、异常值、不正确的值、不一致性、缺失或不正确的信息。这一点很重要，因为你的源数据提供的是你的模型的所有的信息，因此确保它不包含未见过的偏差是至关重要的。例如，如果你在研究全国范围内的客户行为，但是只从有限的样本中提取数据，那么你可能会错过重要的地理区域。在这个时候，需要找到任何可能错误地扭曲模型结果的问题，在整个数据集上找，而不是部分或者采样的数据集上。
第3步：格式化数据
大数据准备的下一步是确保数据的格式适合机器学习模型。如果你正在聚合来自不同来源的数据，或者你的数据集由多个持有者手动更新，你可能会发现数据的格式存在异常(例如usd5.5和$5.50)。同样地，对列中的值进行标准化，例如州的名字可能是完整的拼写也可能是缩写，将确保正确的聚合数据。一致的数据格式消除了这些错误，以便整个数据集使用相同的输入格式。
第4步：提高数据质量
现在开始处理数据中的错误数据、缺失值、离群点和异常值。如果自助的数据准备工具具有智能功能，可以帮助匹配来自不同数据集的数据属性，从而将它们智能化地组合在一起，那么这些工具就可以来帮助做这些事情。例如,在一个数据集里你有两个列，一个是名字，一个是姓，在另一个数据集中有一列叫客户，是名字和姓的组合，智能算法应该能够确定一种匹配方式，将这些数据连接在一起，得到一个统一的客户视图。
对于连续变量，可以使用直方图来检查数据的分布并减少偏度。一定要检查超出可接受值范围的记录。这个“离群值”可能是输入错误，也可能是真实而有意义的结果，重复或类似的值可能包含相同的信息，应该消除。类似地，在自动删除所有缺失值的记录之前要小心，因为太多的删除可能会使数据集不再反映真实情况。
第5步：特征工程
在这个步骤中，涉及到将原始数据转换为特征，来给机器学习算法带来更好的表达模式，这不仅仅是科学更是艺术。比如说，把一个数据分解成多个部分，来获取更加具体的关系，如通过一周中的每一天来分析销售情况，而不仅仅是通过每个月或者每年。在这种情况下，将天作为具体的类别（如“2017年6月19日周一”）会为算法提供更多的相关的信息。
第6步：将数据划分为训练集和验证集
最后一步是将你的数据划分为两个数据集，一个用来训练算法，一个用来评估结果。要确保两个数据集没有交集。花点时间在版本控制的工具上，对你的模型的输入数据编号，这样，你可以追踪你的输入数据和预测结果，从而来优化你的模型。
加速商业性能：数据准备如何赋能机器学习并解决数据问题
长期以来，人们一直认为数据准备是业务领导者和分析师在分析、运营和监管需求时用的。在Amazon Web Services (AWS)和Azure上运行的自助服务数据准备通过利用基于云的环境下的许多有价值的属性将其带到下一个高度。
因此，最接近数据、最了解其业务上下文的业务用户可以借助内置的智能算法快速而准确地准备数据集。它们可以在直观的、可视化的应用程序中工作，通过点击(而不是代码)访问、探索、形成、协作和发布数据，并具有完整的管理能力和安全性。IT专业人员能够跨企业和云数据源维护数据量的规模和多样性，以支持业务场景，满足即时和可重复的数据服务需求。
像DP这样的解决方案解决了许多数据问题，并支持机器学习和数据科学工作流，这些工作流通过机器智能增强了应用程序的能力。更重要的是，它使他们能够根据需要将数据转换为信息，从而使其中的每个人、每个流程和系统更加智能。
来源于网络
