浪潮为网易打造冷数据存储资源池

目前,电子邮件往来还是商务沟通的主流形式之一,我们每天都会收发大量的邮件,除了被下载到本地的数据,其实在邮箱后台的数据中心中也保存着所有邮件的副本,占据庞大的存储空间。

目前,电子邮件往来还是商务沟通的主流形式之一,我们每天都会收发大量的邮件,除了被下载到本地的数据,其实在邮箱后台的数据中心中也保存着所有邮件的副本,占据庞大的存储空间。目前,国内使用量较大的第三方邮箱平台——网易企业邮箱,其收费及免费企业客户已超过45万家、1700万名终端用户。庞大的用户基数,让网易邮箱的后台数据每年都呈PB级增长。

浪潮为网易打造冷数据存储资源池中国企业邮箱用户规模


邮箱数据:低访问率,但需要完整存档

邮箱数据与其他业务数据不同,在新邮件发送后几天内,数据热度极高,高并发是考验邮箱承载能力的主要指标。但是在一段时间后,大部分的邮件数据的访问频度骤降,成为冷数据。一般来说,收到一周以上的邮件,仅有不到5%的数据将会被再次访问。
但作为重要的书面资料,邮箱数据需要在网络完整的存档。网易免费邮箱初始容量就超过3G,扩容或者升级企业版将有更大的空间,在庞大的用户规模下,网易邮箱所需要的物理存储容量极高。

分布式系统解决邮箱的复杂应用场景

目前,数据存储的扩容有两种形式,一种是Scale-up架构,也就是纵向扩展,通过不断提升单机性能来进行扩容。传统的存储设备一般会采用这种形式,数据安全性高,但是成本极高,且扩容困难,不适合互联网应用瞬息万变的升级节奏。

因此网易和浪潮联合研发,采用DDB(分布式数据库)+DFS(分布式文件系统)的模式,让数据访问去中心化,支持多副本和数据在集群中迁移、复制。由此支撑大量的高并发数据操作,并且可以实现动态扩展,避免数据存储容量不足。

浪潮为网易打造冷数据存储资源池
这一系统要求邮箱数据存储服务器有较高的单位存储容量性价比,并且需要优化的性能功耗比,以适应冷数据低访问率的特性。另外,邮件数据需要留档的特殊性,还需要服务器有着较高的稳定性。

定制高密度冷存储服务器,平均每TB成本降低13%

根据网易对新存储应用平台的要求,浪潮为网易定制了基于Intel Avoton低功耗平台的SA5224L4冷存储服务器,在4U服务器空间内,配备36块3.5寸大容量硬盘,能够实现单机288T的存储空间。与传统2U存储服务器相比,采用单路CPU带动多块硬盘设计的SA5224L4,使网易数据中心单位空间存储密度增加50%,平均每TB成本最多降低13%,有效减少网易的成本投入和数据中心的运维成本。

浪潮为网易打造冷数据存储资源池

除满足海量数据的存储,高并发数据操作之外,还在网易关注的电力消耗方面精心设计出硬盘分级休眠功能:在某时间段没有读写时,可控制一半的硬盘进入Level 1休眠状态,且能在10秒内响应新的读写请求,而全部硬盘进入Level 2休眠状态时可实现30%以上的节能。

定制化的SA5224L4有效降低了电力消耗,提高了硬盘寿命。基于网易的分布式存储系统在设计,SA5224L4之初,浪潮就提出要对DFS(分布式文件系统)提供的更多支持,如控制S/N的读写,集成远程管理功能,采用机箱矢量散热技术并优化磁盘抗震能力,进一步了提高服务器的稳定性。

目前,SA5224L4已经应用于网易的邮箱、博客、微博、网盘等多种业务应用。随着互联网数据的规模不断膨胀,其中的冷数据比例也不断提升。浪潮SA5224L4采用单路低功耗CPU搭配大容量SATA硬盘的架构,在满足冷存储业务及时上线的同时,降低了分布式存储系统的使用成本,是互联网云存储、邮箱等冷存储应用的理想选择。

近年来,随着大数据和云计算的快速发展,互联网所产生的数据量急剧膨胀,如何能够使存储设备适应业务应用,并降低数据存储的成本,成为互联网企业据需解决的问题。为此浪潮推出了针对互联网大数据存储的全套解决方案,依据数据分级理论,将数据分为热、亚热、温、寒等级别,并分别对应NVMe、SSD、SAS、SATA等不同存储设备,为互联网分布式存储提佛那个稳定高效的IT技术设施支撑。

来源:ZD至顶网存储频道

0赞

好文章,需要你的鼓励

2016

06/13

17:04

分享

点赞

邮件订阅
白皮书