【大咖分享】华为张福鹏谈智能时代的数据存储

1653
0

社区小辣妹 小试身手Lv3

发表于2020-4-15 08:54

楼主
5G、云计算、AI、大数据、物联网等等词汇,早已闯入大众视线。在当前“新基建”起势的大背景下,以“智能化”为基础的第四次工业革命正悄然发生已成为普遍共识。
智能时代,数据将迸发哪些能量?存储又将实现什么价值,面临哪些挑战?4月8日,华为智能数与存储产品线副总裁张福鹏在线直播,深入浅出地为我们解析了对于数据与存储的疑问,并透露了华为数据与存储对智能时代的思考与布局。


智能时代的存储挑战
“一位普通网民一天至少要生成1GB左右的数据,全自动驾驶的汽车一天会生产64TB的数据,新闻客户端为了推送最精准的内容每天要处理50PB以上的数据......”原来,“数据与存储”早已在不觉间融入大众生活,也在深刻影响着产业发展和社会变革。


张福鹏表示,智能时代的特征是数据+智能,而数据正是智能时代的新生产资料。面对未来全面数字化的智能世界,海量数据的存储、数据的管理以及数据的计算和应用都面临着不小挑战。
挑战一,交易时延与可靠。面向数据价值密度最高的生产交易类的数据,如在线支付工具的便捷使用、线上购物以及电商购物节的峰量冲击,都对数据的交易时延和可靠性提出挑战。
挑战二,海量数据采集与保存。伴随4K、8K视频,VR等带来的海量非结构化数据的采集与长期保存,对存储能力带来挑战。
挑战三,数据流动。未来,各行各业随着AI应用的加入,使得数据本身价值提升,企业将更有意愿长期保存数据资产,通过新技术挖掘数据价值进行数据辅助决策。在实际应用场景中,摄像头、传感器等产生的数据会快速地传到存储设备中,进行实时存储与处理。如何提供边云协同的数据管理,让数据进行高速流动,是企业全场景业务面临的巨大挑战。
挑战四,低成本全生命周期管理。从数据产生源头开始的生产、分析、备份、归档需要大量管理精力,如何占用更少人力,获得更大管理效用,也是企业上云后面临的一大挑战。
华为的解决之道
“随着数字化和云化转型的提升以及智能化的到来,数据与存储市场会面临更多新需求。”张福鹏认为,智能时代的数据与存储需求可以被总结为智能、融合、高效三个特点。而华为存储基于对市场的专业研判,也给出了华为智能与数据存储解决之道。

智能方面,华为采用端云协同AI芯片加速的Self-Driving存储,基于AI芯片、存储设备和华为云三体架构,云上训练、云下推理的方式,达到越用越快,越用越省的效果。结合华为云大规模运营经验,华为存储产品可提前14天预测故障硬盘、提前60天预测性能瓶颈、提前365天预测容量不足。并且这当中30%的故障可以不用人工干预“自愈”。越来越智慧的存储,为客户带来极致体验。

融合方面,华为从端到云构建了数据存储融合互通能力,如实现了对NVME SSD、QLC SSD、HDD和蓝光/金纳米等异构介质的支持的异构融合;实现块、对象、文件、HDFS四种服务共集群互通的多服务融合;支持分布式热温数据分级的分级归档融合;高密快照和相似重删,并支撑二级存储,保证备份数据立即可用的生产分析融合;实现了数据分级上云和备份上云的端云融合。这些融合将让存储融入具体业务,数据处理成本更低,效率更高。


而针对当下亟需解决的“高效”难题,华为智能数据与存储分别从性能、可靠性、容量上做了诸多努力。

性能上,在硬件上以华为五大自研芯片为基础,实现端到端加速,全面提升数据存储性能;软件上以FLASHLINK智能算法进一步提高速度和稳定性;并以NVMe协议、DTOE智能网卡、NOF+无损以太网络构筑最优质的数据传输高速公路。在保证成本优势前提下,显著降低时延。面向核心生产交易场景,目前华为存储已经能够提供2000万IOPS,0.1毫秒的性能指标。

可靠性上,华为分别从部件、系统、架构、解决方案等层面做出了大量创新,MTBF达到300万小时的全局盘片保护、容忍3盘同时失效的RAID-TP、业务达到秒级切换主机“0”感知的SmartMatrix分布式全互联架构、免网关双活等技术方案,实现了无限接近100%的高可用,足以应对最苛刻的企业可靠性需求。

在容量上,华为采用弹性EC+动态重删压缩技术,大幅提升磁盘利用率,让存储系统拥有更好的可得存储容量;采用计算存储分离方式,实现按需独立扩展容量,很好地管理了容量,避免资源浪费。以及针对归档、备份的蓝光、金纳米玻璃等存储介质的采用,大大扩展了存储容量可用性。

通过长期不断的在基础的硬件、算法、系统、架构上的科研开发,和18年技术积累,华为存储业务已经进入到快速增长期,截止到2019年Q4,已连续四季度持续保持30%左右的高速增长。华为在中国市场已经连续5年保持了第一的市场份额,并在2019年第四季度全球销售收入排名升至第三,显现实力。

未来,华为公司还将持续投入技术研究,并在产业组织、专利和研发多方面深耕,在智能时代存储产业向下扎到根,为市场长期提供最先进、最好的产品解决方案。华为还将携手合作伙伴,打造智能、融合、高效的存储产品和方案以满足客户创新数字化和云化转型需求。

最近看过此主题的会员

韦韬然

0个回答

只看楼主

登录后可回答问题,请登录注册

快速回复 返回顶部 返回列表

小时

全天响应

分钟

快速处理问题

工程师强势助力

明星产品
解决方案
联系合作

400咨询:400-0011-866

技术支持QQ:400-0011-866(工作日9:00-18:00)

产品建议邮箱yixin@esensoft.com

关注我们

扫TA学习更多干货

一对一专家交流

版权所有© 2006-2024 北京亿信华辰软件有限责任公司 京ICP备07017321号 京公网安备11010802016281号