伴随着国内电商的日益火爆,尤其是双11、618等大促成为每年必备的电商狂欢节,网络购物对于物流的需求大增。作为国内主流的快递品牌,德邦快递的运单数量也随之高涨,但这同时也对德邦后台的物流数据库造成了巨大压力,为此德邦选择了更加灵活的分布式数据库架构,并以浪潮NF5280M4作为核心支撑之一,满足每秒数万用户同时在线的诉求。
浪潮NF5280M4支撑德邦物流数据库
2015年,国内领先的综合物流供应商--德邦物流旗下的德邦快递营业额突破19亿元大关。德邦快递于2013年11月1日正式上线,2014年上线首年营业额便达5亿元,2015年德邦快递继续保持迅猛的发展势头,不到两年即营业额突破19亿元,为去年同期4倍。订单数量的激增,让德邦物流跻身国内主流快递品牌之一。
相比传统物流,快递所运输的货物更偏小型化,但是订单量却远超物流。为了提升配送的效率并降低配送成本,德邦快递需要将进出货管理、库存管理、财务、结算、运输配送管理进行统一管理,也就是将所有的信息录入数据库,各个联机事务处理系统作为数据库的原始数据源,以文件方式提供企业在日常活动中收集的数据资料和报表,同时还有大量的外部信息等数据,并在快递业务的各个环节有变化时进行实时更新和同步。
作为快递业务的核心支撑,数据库不允许出现严重的故障,一旦数据库服务器出现宕机等问题,将会影响整个业务链条的运转。有报告显示,在过去12个月中,企业因数据丢失和宕机造成的损失达1.7万亿美元,这一数字或相当于近50%的德国GDP。因此,德邦快递在数据库服务器系统的选择上十分谨慎。
选择传统集中式,还是用更灵活的双路做分布式数据库?
在搭建数据库系统上,德邦面临两种不同的选择,一种是采用集中式的架构,也就是单机纵向扩展,在数据库容量不是太大,且对于可靠性要求不是太高的情况下,企业通常会采用一台四路服务器作为数据库服务器的主要机型,并搭配另一台四路作为备份以确保安全性。另一种思路是采用分布式架构,也就是多机集群扩展,目前大部分大型互联网公司都倾向于采用这种架构,比如阿里巴巴,利用分布式数据库DRDS成功保障单日近千亿的线上交易。那么这两种选择会有怎样的优劣?
首先从可靠性上来看,单台四路的可靠性一定是高于双路服务器,但是双路服务器集群来支撑数据库应用的话,情况就大有不同了。分布式数据库系统可以在集群里每台服务器中都保留数据库的完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。因此,在个别服务器或个别通信链路发生故障时,不至于导致整个系统的崩溃,而且系统的局部故障不会引起全局失控。
其次,从扩容灵活性上来看,分布式数据库的扩容效率更高。传统集中式数据库的应用场景往往是短期内没有太高增长量的业务应用。但是在互联网行业,用户数很可能在短短的一个月内爆发式增长几千倍,数据也很可能快速地从原来的几百GB飞速上涨到几百个TB。由于传统集中式数据库依靠单机性能的垂直扩展,在如此快速的变化面前,数据库往往来不及扩容就已饱和。而采用双路服务器做分布式数据库,扩容只需要增加一台服务器节点即可。
第三,从提升业务性能上看,设计优良的分布式数据库更能适应高并发的数据库操作。用四路、八路做集中式数据库,其性能的上限是在单机的计算性能上,也就是选择了高端的CPU+满配的内存后,就已经基本确定了数据库的极限容量和并发。而且当数据库容量越来越大时,系统进行检索所需要的资源消耗就越大,处理效率也会相应降低。而采用分布式数据库则可以避免这种问题,在上层来看,系统中只有一个大的数据库,但是实际上在分布式数据库这个黑盒子中,数据库被分割成多个小的、局部的数据库。当用户对其中的数据进行读取或者写入时,可能是由集群内的多台服务器来完成操作,这样在高并发访问时,能够自动进行负载均衡,不会因任务等待造成延迟。
快递行业与电商行业联系紧密,每当电商大促,快递订单量就在短时间内快速增长,这就要求数据库需要具备极佳的扩容灵活性,因此德邦快递选择采用双路服务器来搭建其数据库系统,在满足系统需求的同时,既节省了采购成本,同时灵活性和集群性能大大提升。
单机决定集群性能,德邦快递选择浪潮旗舰双路服务器NF5280M4
分布式数据库的效率取决于服务器集群的数量和每台服务器的性能,因此德邦在选择双路数据库服务器同样严苛,在可靠性、性能、扩展性和能效比上都有很高要求。经过比较,德邦最终选择浪潮旗舰双路服务器NF5280M4作为其分布式数据库的基石。
浪潮NF5280M4
以高性能、扩展性、可靠性、能效比著称的NF5280M4,不仅具有业界最大的扩展性,也具有全模块化、免工具维护、耐高温腐蚀等特性,为新一代信息化应用和下一代数据中心做了大量的优化,适合德邦快递的数据库业务应用。
在可靠性方面,NF5280M4支持包括CPU、内存、IO、总线等方面22项RAS级特性。对于内存故障时最常见的服务器硬件问题,NF5280M4独具的故障内存隔离RAS特性,可以保障服务在内存故障时,自动将内存隔离并发出告警,但系统仍可正常运行,保障业务的正常运行。
为了保障分布式数据库的性能,集群内的单台服务器也需要较高的计算能力。浪潮为德邦提供的NF5280M4中,搭载的是双路Intel Xeon E5-2690v3 CPU,这是此代E5 CPU的高端配置,12核心、2.6GHz主频、30MB三级缓存,加上单机512G的高速DDR4内存,保障数据库高效运转。
在存储方面,浪潮为德邦选择了10k转速的SAS硬盘和高IOPS的SSD作为存储介质。中大型关系数据库应用,尤其在电商类网站购物狂欢节后的高并发订单突发状况下,采用SSD能有效避免加载延时、历史数据无法正常显示等问题。在Mysql压力测试中,单盘足以支撑每秒上万人的在线同时处理。在HDFS测试中,模拟离线数据分析,1.5TB数据,5块普通机械硬盘需要50分钟才能读取到内存,而使用SSD可在25分钟内完成,采用SSD将能够提升近一倍的处理效率。
浪潮NF5280M4具有业界最大的部件扩展性,采用全新智能计算加速技术,性能提升2倍以上,适合云计算和大数据等新型应用。另外,该产品还在部署特性方面进行了优化,可以耐受45℃高温环境和自然空气中的氮化物和硫化物腐蚀,可在自然风冷数据中心部署。目前,NF5280M4已经广泛部署在工商银行、招商银行、交通银行、中国移动、中国电信等大规模数据中心,深受商业客户的青睐。
好文章,需要你的鼓励
后来广为人知的“云上奥运”这一说法,正是从这一刻起走上历史舞台。云计算这一概念,也随之被越来越多的人所熟知。乘云科技CEO郝凯对此深有感受,因为在2017年春节过后不久,他的公司开始成为阿里云的合作伙伴,加入了滚滚而来的云计算大潮中。同一年,郝凯带领团队也第一次参加了阿里云的“双11”活动,实现了800万元的销售业绩。
随着各行各业数字化变革的不断深入,人类社会正加速迈向智能化。作为智能世界和数字经济的坚实底座,数据中心也迎来了蓬勃发展。面