-
-
Beginner 初学数据Lv2
发表于2018-11-5 11:21
楼主
本帖最后由 Beginner 于 2018-11-5 11:22 编辑
大数据的应用越来越重要，各个行业对数据领域人才的需求越来越大，对于数据类的职业岗位划分也越来越具体。
之前招聘的数据岗位主要是数据科学家（data scientist），而现在逐渐地，数据工程师（data engineer）这样的字眼也频频出现在各大招聘网站上。看到这么相似的职位名称，很多同学都会产生困惑，数据科学家和数据工程师到底有没有差别呢？
01 二者分工不同
总体来说，这两种职位都是要把数据处理成可以被人利用的形式，但是他们所做的事情非常不同。
数据工程师
数据工程师负责的是开发、建立、测试和维护架构，比如负责数据库和大型处理系统。而数据科学家主要负责清理整理大数据。
数据工程师获得的原始数据包含了很多人工、机器或者仪器误差。这些数据可能是未经确认的，还包括了可疑记录，而且也可能没有格式，还可能含有系统特定的代码。
因此，他们要提出建议甚至实施各种方式来提高数据的可靠性，有效性和质量。为了达成这样的目标，他们需要运用多种语句和工具将多个系统联结在一起，或者找到机会从其他系统中获取到新数据，使得系统特定的代码可以转变成数据科学家可以处理的信息。
数据科学家
数据科学家拿到的数据通常是已经经过第一轮清理和处理的，所以他们可以进一步运用复杂的分析程序、机器学习和统计方法来处理这些数据，并且运用处理后的数据建立预测模型。
当然，为了建立模型，他们需要研究相应的行业和商业问题，而且他们需要平衡来自内部和外部的数据来满足商业需求。这也常常涉及到探索和测试数据以找出可能隐藏的模式。
数据工程师和数据科学家要共同来完成对数据的处理，然后为关键的商业决策提供见解。在技能方面，二者虽然有很多重叠的部分，但是在工业界中，他们的区别越来越明显。
总而言之，数据工程师为了完成数据的提取、转换、加载，要利用数据库系统，数据应用程序界面和工具。而且他们的工作还会包括数据建模和设立数据仓库解决方案。
数据科学家则需要知道统计、数学和机器学习来建立有效的预测模型。他们应该要知道分布式计算，因为他们要获取经过数据工程师处理过的数据，而且他们同样还要能够成功向商业利益相关者报告结果。对于这样的工作，故事叙述能力和数据可视化能力是必不可少的。
02 工作所需的技能不尽相同
数据工程师在工作中往往会使用到SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, neo4j, Hive, and Sqoop。
数据科学家则会用到SPSS, R, Python, SAS, Stata and Julia等语言来建模。毫无疑问，其中最常用的就是Python和R了。
如果你在数据科学家的工作中使用这两种语言，你一定会用到R中的ggplot2来做可视化数据，还有Python的数据分析包Pandas。当然，除此之外还有很多的方便的package，比如Scikit-Learn, NumPy, Matplotlib, Statsmodels等等。
在工业界，除了SAS和SPSS,你还会发现 Tableau, Rapidminer, Matlab, Excel, Gephi等工具也常常在数据科学中被应用。
数据科学家和数据工程师二者也会使用一些相同的工具、语言和软件，包括Scala, Java, C#，Hadoop, Storm, 和 Spark。也许这些语言的使用在两种工作中的占比不同，但是当你搜索两者的工作要求时，都会看到这些技能要求的出现。
03 未来对两种工作都有很大的需求
现如今，公司在寻找更加经济、灵活和可扩展的方法来储存管理他们的数据。他们希望将数据移动到云端。而想要实现这个想法，他们就需要建立数据湖来作为已有的数据仓库的补充或者替代操作数据存储。
由于数据流要被重定向或被替代，未来几年，对于数据工程师的需求将逐渐增加。
至于对数据科学家的需求，其实已经持续了一段时间了，现如今公司更倾向于组建一个数据科学团队，而不是单独雇佣一个全能的数据科学家。过去，公司会要求数据科学家具有沟通交流能力、创造力、聪明才智、好奇心和专业技术等等。显而易见，公司很难找到符合所有要求的候选人，对这样的人才的需求是远远超过供给的。
04 如何有效成为数据工程师或者数据科学家？
首先必须了解公司提供了那些岗位？
技术类岗位：
过往的岗位需求中，与数据分析有关的岗位有很多。具体到每个岗位，需要的技能有哪些？分成三类：
（1） 数据挖掘工程师/算法分析师：python/java/php/C++等至少一门编程语言——熟悉hadoop/hive/spark等大数据工具——能够利用文本挖掘/自然语言处理/机器学习等，相关技术和算法——有linux环境开发经验/了解web架构……
（2）DBA（数据管理员）：熟练掌握各类数据库（MYSQL/SQLServer/Oracle/DB2/mongoDB等）——能对数据库进行设计、维护、调优——shell/perl/python等会一种以上语言……
（3） BI工程师：熟练使用主流数据库——精通报表工具（BIEE/BO/Cognos等），熟悉ETL工具（informatic/Datastage/kettle）
产品类：
数据产品manager：有数据分析/数据挖掘/数据可视化/在线数据等数据产品经验——了解hadoop/storm/hive等分布式大数据技术——了解数据挖掘技术（从任职要求来看，数据产品经理算是高级职位，从初级到这一岗位至少需要3年，应届生较难)
设计类：
数据分析师：精通分析工具sas、spss等——精通excel、熟练掌握SQL查询语言——熟悉python、R等至少一门语言——能够独立撰写商业分析报告
运营类
数据运营：掌握一种数据分析工具（spss/SAS/R/Matlab）——精通SQL——能熟练使用excel、PPT等
市场与销售
（1） 商业数据分析：熟练掌握office办公软件（excel、PPT）——熟练掌握数据提取工具SQL、hive等——部分雇主要求除了数据分析经验，还要求有咨询公司实习经验或战略规划实践经验
（2） 分析师：行业分析师/财务分析师
其次需要了解工程师需要掌握哪些工具？
从数据分析流程（数据获取—数据处理—建模—可视化）来讲讲需要掌握的工具。
考虑到学习的难易程度，同时兼顾数据分析流程的完整性，个人建议的学习顺序：
- SQL—EXCEL（可以同时学习VBA）—spss—python
- SQL：主流的关系数据库有mysql、Oracle、SQL Sever等
- EXCEL：函数、可视化、宏（VBA）
- SPSS：线性代数、统计学、常用模型
- Python：数据准备、数据处理、网页数据抓取、数据分析
一圈下来，你会渐渐明白，现在学的统计、数学、CS，只是数据科学家和未来数据工程师工作的冰山一角，掌握更多实战的技术，以及更多项目经验，是未来取得更多机会的保证，所以学习的目的是工作，工作可以更加准确帮助学习。
作者：Leo职业规划师
来源：留学集中赢研究生
