-
瑞艾 数据达人Lv4
发表于2018-9-30 13:51
楼主
大数据为什么大?分析师们说这么叫是为了赶时髦!但如果听数据砖家讲,那就是真的大,不但大,还金贵!因为从海量的数据中挖掘信息,就跟淘金差不多。
因此人们给数据从业者起了上面那些亲切的名字。虽然这个行业薪水可观,但工作确实玩命!
有这么一个故事:某小伙通过不懈的努力成为了一名数据分析尸,在经历了服务器宕机、数据丢失、算不出结果、备份无法恢复等一系列的折磨后,发奋图强攻读电子工程学位,摇身一变成为了一名服务器研发攻城狮!
这是一个由尸变狮的励志故事!同时也体现了大数据行业一直以来都存在的痛点:
- 数据的采集抓取
- 数据的存储管理
- 数据的分析处理
如何做好以上几个环节的工作,是目前大数据分析行业一直存在的难题。
这其实不是数据的问题,而是处理数据的设备问题!
很多数据分析公司都疏忽了服务器的重要性,一些老牌数据公司甚至还在使用二手服务器做为数据载体。
这也是为什么很多重要数据总是容易泄露或丢失的原因。
对于那些使用劣质服务器工作的数据分析尸们来说,每一次数据采集、抓取都是一场人与机器的博弈。
更像是一场拉锯战!
数据采集软件的无故闪退、老处理器的无限卡顿、执行过程中的无故宕机等问题会无形中把工作效率降到冰点!
而最终的数据备份和保护则是另外一场生死攻防战。
备份丢失、数据无法自动恢复、漏洞导致的系统故障、不计其数的网络病毒攻击……!
许多攻城狮热衷于“性格倔强”的服务器,而对于其中的“脆皮”只能祈求老天的保佑,没有其他的办法。
“勤备份,少加班;勤重启,少操作;勤监控,少崩溃,反之亦然”。
一个某上市公司负责数据库维护的朋友这么评价他的工作!
随着时间的推移,数据对于企业来说将会变得越来越重要。
因为大数据而衍生出的物联网、智能家居、云网络还有如今热门的人工智能、机器学习等新技术趋势都离不开高性能服务器的支持。
况且现在的中小型数据技术企业根本没有足够的资本可以支撑庞大的服务器成本需求。
这么看来数据的确金贵,处理起来也的确麻烦!可是肿么办呢?难道要像那位帅气的分析尸一样转型去研发服务器么?