-
-
宋宋 数据领袖Lv6
发表于2020-3-26 16:07
楼主
马上就20年了，现在看如大多数回答者所说，不会饱和的。学习数据挖掘方向的人不用太过忧虑市场的饱和。数据挖掘不是独立市场，而是解决各领域问题的方法和工具，生物、制造、零售、金融等等领域都越来越仪仗对数据的利用和挖掘，数据挖掘所面对的市场是很多行业的市场。要说数据挖掘应用饱和，除非各个领域都已经发展到了瓶颈没有上升空间，而这是不可能的。要说数据挖掘人才饱和，数据科学家/分析师已经成为各企业的标配，现在看离这个标准还差得远呢。
但也不得不说现在数据挖掘发展情况没有很理想，这也和数据挖掘人才不足有一定关系，最近整理了一篇文章借地展示一下。
数据挖掘是泡沫吗？你说它是泡沫，那它却有一些如智能推荐、风险捕捉等高价值场景你不能视而不见吧，而且上到国家下到大v都站数据挖掘，从投资到影响力都不缺，越来越多的大学开设机器学习相关课程，好一片燎原之势。但你若说它不是泡沫，却有太多的灌水论文是关于它的，这些论文只有作者自己写很嗨，等拿到生产环节中一试，**这什么玩意儿。说到应用，除了那几个经典的场景外，身边没有什么实实在在的、落地的案例，这样的应用量级与它在舆论中的地位比起来，可以说是有些丢人。这好比一个隐居的大名士，大家都说这人厉害，不出山对国家都是一种损失，终于他在一众追捧之中出山之后，却发现这人只能做个县令。
我的看法，数据挖掘不是泡沫。第一，它背后是数据库技术，是统计学，这些都是硬的不能再硬的知识。它的核心是对数据进行深度的计算，让数据展示其潜在的信息，这一处理过程就是使用数学、统计学方法对数据进行计算，数据经过这样的加工之后，确实会展示出其隐藏的一面，所以他的本质并不泡沫。第二、有很多人使用这样的方法来帮助自己工作，这是从上个世纪就有的，今天依然很多，数据挖掘这样的技术确实帮他们解决了问题，带来了价值。还有，我也是相信国家和高校的是一定看的比我要远的多的。
那么，如果数据挖掘不是泡沫，是什么原因造成了当前这种模糊的状态呢？
第一、人才缺失
这一条应该很多人不服，一板砖拍到程序员堆里都要有两个是做数据挖掘的，怎么还会缺人呢，甚至知乎中已经有“做数据挖掘/机器学习的人是不是饱和了”这样的问题。我们需要更细一层的分析，数据挖掘的人才可以分成三类：
第二、网络或舆论氛围浮躁。
浮躁是几个原因造成的
来源互联网
但也不得不说现在数据挖掘发展情况没有很理想，这也和数据挖掘人才不足有一定关系，最近整理了一篇文章借地展示一下。
数据挖掘是泡沫吗？你说它是泡沫，那它却有一些如智能推荐、风险捕捉等高价值场景你不能视而不见吧，而且上到国家下到大v都站数据挖掘，从投资到影响力都不缺，越来越多的大学开设机器学习相关课程，好一片燎原之势。但你若说它不是泡沫，却有太多的灌水论文是关于它的，这些论文只有作者自己写很嗨，等拿到生产环节中一试，**这什么玩意儿。说到应用，除了那几个经典的场景外，身边没有什么实实在在的、落地的案例，这样的应用量级与它在舆论中的地位比起来，可以说是有些丢人。这好比一个隐居的大名士，大家都说这人厉害，不出山对国家都是一种损失，终于他在一众追捧之中出山之后，却发现这人只能做个县令。
我的看法，数据挖掘不是泡沫。第一，它背后是数据库技术，是统计学，这些都是硬的不能再硬的知识。它的核心是对数据进行深度的计算，让数据展示其潜在的信息，这一处理过程就是使用数学、统计学方法对数据进行计算，数据经过这样的加工之后，确实会展示出其隐藏的一面，所以他的本质并不泡沫。第二、有很多人使用这样的方法来帮助自己工作，这是从上个世纪就有的，今天依然很多，数据挖掘这样的技术确实帮他们解决了问题，带来了价值。还有，我也是相信国家和高校的是一定看的比我要远的多的。
那么，如果数据挖掘不是泡沫，是什么原因造成了当前这种模糊的状态呢？
第一、人才缺失
这一条应该很多人不服，一板砖拍到程序员堆里都要有两个是做数据挖掘的，怎么还会缺人呢，甚至知乎中已经有“做数据挖掘/机器学习的人是不是饱和了”这样的问题。我们需要更细一层的分析，数据挖掘的人才可以分成三类：
- 第一类是研究型，研究算法做本质上突破的人，这类人在任何时候都是紧缺的，当然大部分人都不属于这一类人才。
- 第二类是应用型，能够跨领域将数据挖掘技术应用到自己所在领域的人。对算法内部原理不需要很懂，技术上只需要知道怎样应用就够了，重要的是能够熟悉某一业务领域，并且能够真对业务领域的问题提出解决方案，使用数据挖掘技术来解决。这一类人才是目前最为紧缺的，数据挖掘应用现在很少，主要是由于这一类人才的缺少。
- 第三类是数据挖掘技术使用人群，有学生、有程序员，会用数据挖掘技术解决手头的问题，但是对算法没有深入的研究，也没有将数据挖掘落地到生产的能力。目前最多的是这一类人，所以我们可以在网上看到很多关于数据挖掘技术的文章，但是很少有对算法特别深入的讲解，更缺乏的是将数据挖掘技术落地的方案。
第二、网络或舆论氛围浮躁。
浮躁是几个原因造成的
- 需求氛围上，高层和大 v的舆论导向让不少人跟着兴奋，对这类技术和应用很感兴趣，到处谈论数据挖掘。但多数人也不过是叶公好龙，知乎中看到一句话形容的很好，很多人谈数据挖掘如同青春期的少年谈性，每个人都在谈，好像自己什么都懂，甚至害怕被认为什么都不懂，而实际上大家都没什么经验。很多技术概念都是这样，去年的数据中台被阿里提出来之后，很多企业好像一下子就懂了，也纷纷跟着搞数据中台一个样子，实际上很多企业到底什么是数据中台也没搞明白。
- 知识氛围上，研究算法、机器学习、人工智能等等这些技术的人越来越多，这好事没毛病。另一方面灌水的论文也确实不少，论文中算法调来调去预测准确性到90%都可以，但这些论文真的有几个可以拿到生产中去验证和使用？这种文章看的多了，还有多少能继续相信数据挖掘的。
- 商业环境上，软件公司也加了一把火。近年来有很多资本投资机器学习相关的初创公司，这些公司为了拿到投资也“制造”了很多案例，我见过很多宣传诸如“算法准确率超过google”、“500强企业xxx在用我们产品预测xxx”，和灌水的论文一样，这样的宣传也是没几个禁得住追问。参加过一些沙龙却还拿着莺尾花、波士顿房价这样的例子来演示产品。
- 第一，通过更多基于数据挖掘技术的应用软件走进企业。虽然已经有一些企业开发并应用了推荐、风控等场景，但企业数量还是很少的，并且这些应用通用性不强。若要让更多的企业享受数据挖掘技术的福利，需要有类似于OA、CRM这样的有更强的通用性，可以被更多企业接受和使用的软件，如果有软件公司能够掌握行业的痛点并使用挖掘技术来解决，那对于推广数据挖掘技术一定是正向的。也要补充一句，若没有什么业务痛点强行做一些花里胡哨的系统，只能添乱。
- 第二，企业中有自己的应用型人才，能够搭建企业内部的挖掘应用。不同于OA、CRM或ERP之类的软件使用，这种模式更类似于现在企业中数据分析系统，例如报表平台或bi平台，这些数据分析应用，往往由企业自己通过一些比较好用的工具如finereport/finebi自己建设起来的。数据的分析和应用灵活且多变，即便企业开始是由软件公司开发的报表或bi系统，多年之后这个系统也不会是项目当初的样子了。正因为企业自己在数据分析应用中发挥着主导作用，数据分析在企业中发展非常迅速，也受到很大认可。数据挖掘的应用也有类似的特点，数据挖掘的应用点不会是单一的，很多数据深度挖掘后会展示出新的一面，企业中的数据也有不同的维度和模块需要深度挖掘。并且随着企业的发展，数据会跟着变化，挖掘应用也需要随之调整，企业自身有能力开发并维护挖掘应用，更有利于数据挖掘在企业中推广和应用。
- 第一是大量的数据挖掘技术人才走进企业，这点还是比较困难的，一方面短期内看不出企业中有哪些数据挖掘的用武之地，企业本身就不会在此投入太多，另一方面供需双方对收入的期待水平相差太大。
- 还有另一种方式，就是企业原有的it人才可以掌握数据挖掘技术，这一个方向我觉得是可行的。一方面很多企业的it人员对业务是有一定理解的，并且长期负责企业数据，有很强的数据思维，具有针对业务痛点形成解决方案的基础。另一方面当前很多企业的it人员有意愿学习更多的数据技术，提升自身竞争力，这种驱动力是不缺的。虽然基础条件很好，但也有困难，第一是应用型资料比较缺乏，很多书籍和资料偏理论，这到应用还有点距离；第二是缺乏易用的工具，直接学习代码来应用到企业无论是学习成本还是开发维护成本都偏高。相信一个好的培训服务体系加上一个好用的挖掘工具，会给企业带来价值的。
来源互联网
