云达李家瑞：Ceph参考技术架构与QCT解决方案

2016年8月5日，全球开源领导厂商红帽携手ZD至顶网、Intel、云达科技共同举办的主题为“开放 融合 开源开启存储新世界”的2016年中国开源企业存储峰会在北京富力万丽酒店隆重召开。在下午峰会上，云达科技(QCT) 技术处协理李家瑞发表了以“Ceph参考技术架构与QCT解决方案”为主题的精彩演讲。

会议现场，李家瑞先生介绍了Ceph架构以及市场趋势和客户需求。他认为，IT领域逐渐从信息发展延伸到大数据、快数据时代，从而让Ceph等开源架构发展起来。Ceph的应用优势是载双IT模式下，能处理用户的典型应用，即让以前的数据和新的流进来的数据等到更好的管理。

以下是嘉宾的演讲实录：

 李家瑞：下午好！大家刚用完餐，上午讨论了Ceph，现在这个议题不是那么严肃的议题，大家活动身体站起来没有关系，不用太在意。

我用30分钟的时间给大家分享一下Ceph架构。云达科技提供很多在服务器、网络上的产品，慢慢走一些不同的路。Ceph我们所做的参考架以及未来怎么做。时间关系，我会把Ceph架构讲清楚，一些细节，另外找一个时间讨论。

先从框架开始介绍。

今天讲的内容包括几部分：第一，市场范围、趋势及跟客户的需求。然后讲一下cehp的架构，以及对Cehp  Reference怎么推出，分析方案。架构的设置及其结果，以及过程中跟红帽合作产生的一些东西跟大家做一个分享。

这个题目我讲过两次，但有新的元素在里面，希望你们不要觉得是冷饭再重炒。

首先是趋势，从大方向来看，2000年开始基于SDDC，有年度增长。所以能够看到产业结构的改变。

从细分方面来讲牵涉到几个趋势的改动，一个是大量的文件系统。接着下来，云时代来临、物联网时代来临，甚至Data science来临。从结构化来讲，数据慢慢进入到大数据、快数据。数据大于大数据、快数据。 Data  processing大于Data  Modeling大于Data  science。IT领域慢慢地从信息发展到所谓的data，以data为主的时代。在Monolithic的架构里慢慢过渡到基于一个小小的方式，Microservice。所以从产业大方面来讲，看到的是所谓的改变。

这个改变有什么意义？我觉得这里面的意义很多：一个实际的应用会受影响。很多媒体业开始经营媒体后，每天都有一大堆数据，这些数据全部存储在仓库，放在仓库里，作为过往的保障。这些东西跟他们接着下来的每一天，比如从微博、部落格等不同地方一点一滴的数据流入，怎么样有一个框架去做这些事情？过往是数据来储存，尽快地建立，以很快的速度宣布存储，用阵列。这里面能看到，如果有刚才的场景，需要多少种类的存储架构才能完成这件事情？五年以前可能没有选择，说对我是蛮大的一件事，每一个东西有不一样的存储设备，这是一个很扎实的方法。Ceph主要优势是针对这些问题，都可以在架构上做一些调整，满足不同客户的需要，以建构公司存储的整体架构。从应用层面来讲涉及到很多因素，有各种不同的数据，流媒体，时间上要保存多久在以前都是问题，但应用上，Ceph是典型的应用，有以前的数据和新的流进来的数据，怎么样处理这些数据？很多客户在关心这个意义，而不只是说架构上会有什么样的挑战。

Ceph，简单讲是四部分：左边是存储当地，可以提供object，可以提供block，可以提供file。对于cluster  network，是讨论cpu、memory、ssd、hdd跟nic，一定要有一个很大的网络结构把所有的东西团结在一起。简单讲就是这几件事，这是Ceph的架构。这里面所有东西都是开放的，这个架构给每一个客户的不同需要，看怎么样优化不同的端口特别应用客户。

数据的流入到流出是完整的，从RBD开始需要的是块，可能需要的是object，可能需要的是文件。通过ceph  fs这个端口，可以存储，然后自己就进入rados架构，进到后面。

整个Ceph  Software结构是这样的（图）。上级有不同的需求，有object、block、file。在LIBRADOS的二维结构里，分别提供object这几种服务。后端每一个OSD接通真正存储的动作。所有动作来讲有一个监控机制，叫做MON，这个MON背后的Ceph是在这个地方。如果确认它活着，所以要提供一些机制。为了确认每一个人讲的是真的，所以每个人至少三台。这跟我们介绍的Ceph大概是这样子的。蓝色是针对文件存储，CEPH  FS也需要这个方式。如果没有用到，就不需要蓝色的部分。这是关于反馈的架构。

所谓的Technology就是刚才讲的东西，细一步研究，要怎么优化？这是我下面要讲的。讲之前，背后要用什么样的因素？讲架构，一定要有一个芯片在里面。最简单的方式是一份、两份、三份copy，但非常浪费，并且不是没有代价，因为用的EC不一样。这里面所需要的必须对应地讲，因为必须同一个时间…这里面到底是CPU…这里面每一个，你设计架构时要考虑的点。

如果问你问题，你怎么回答？第一个问题说了，告诉你这些选项，这是Ceph最美妙的地方，根据每一个选项去选你要的架构。这是Ceph的特点，包括怎么样CPU化。目前基本上有一个OSD，目前大概需要1.3—1.5的口，每个需要2G  RAM。

SSD跟NVMe。目前的架构有共识，把一个一个数据存到Ceph架构里，在写的动作中，会先把数据写到Journal架构。Journal再把数据copy到后面的Tier。存储最终放在NVMe上，这些东西如果有SSD，都会是不同模式，所以到底怎么样做，看设计方案时是怎样的。简单讲，SSD应该是SATA/SAS，标准是4—5，这个比较低。  

我们还做了另外一款，NIC  10G/40G -> 25G/100G。2x NVMe ~40Gb。4x NVMe ~100Gb。2x SATA SSD ~10Gb。1x SAS SSD ~10Gb。(20~25)x HDD ~10Gb。

~100x HDD ~40Gb。这是我们给大家做的分享。   

NIC  I/O Offloading。CPU Offload through RDMA/iWARP。Erasure Coding Offload。Allocate computing on different silicon areas。

Erasure  Coding与Replicaton。Object Replication。你去改变它，你需要做调整。但这个东西有代价，2/。你说我不要那么多，传统上有这种想法，就看你的比例，[k+m], e.g. 4+2, 8+3。Better Data Efficiency，k/(k+m) vs. 1/(1+replication)。

红帽Ceph有完整的根据，会有不同版本提供，这里给大家做参考，最后有最新的版本，这个月会正式地在全球发。

 Vendor-specific Value-added  Software。Intel ISA-L、Intel SPDK、Intel CAS、Mellanox RDMA/Accelio Library。

QCT Storage Server。2x Intel E5-2600 CPU。16x DDR4 Memory。12x 3.5” SAS/SATA HDD。4x SATA SSD + PCIe M.2。1x SATADOM。1x 1G/10G NIC。BMC with 1G NIC。1x PCIe x8 Mezz Card。1x PCIe x8 SAS Controller。1U。   

我们有几个design的想法在心中，一个是Trade-off among Technologies。一个是Scalable in Architecture。一个是Optimized for Workload。最后是Affordable as Expected。这个东西做出来能够让大家付得起。这是我们的设计考量。我们有几个不同方向，workload，这方面有几种不同形态的workload，每一种都有不同的需求，目前正在进展的是IOPS部分。

整个架构是这样的（图），有public  network，有cluster  network，以及内网跟外网。

目前我们所涉及的总共有三块解决方案：两款是针对Throughput-Optimized 去优化，一款是针对Cost/Capacity-Optimized去优化。

针对SMALL、MEDIUM、LARGE有不一样的Throughput optimized、Cost/Capacity optimized、IOPS optimized。

针对All-NVme正在设计当中，这是我们正在IOPS做的一个架构。

讲过这么多，最好最美妙的地方是可以repository。它是一个工具，但可以根据不同的需要可以不断地选择用。  

总的来讲，第一个是基于Workload-driven调教的。第二Hardware/software pre-validated架构里，pre-optimized and pre-integrated。拿到第一台，有网络就可以。所谓的创意跟稳定度上选择一个平台，这是架构上的点。然后设计的创意跟稳定度上选择一个平衡。   

大家可以到这个网址上追认我们跟红帽共同发展的，有详细设计跟设置。有关设计这方面就不花时间介绍了。

总结：Ceph is Open Architecture。QCT, Red Hat and Intel  collaborate to provide，Workload-driven,Pre-integrated,Comprehensive-tested and Well-optimized solution。Red Hat – Open Software/Support Pioneer，Intel – Open Silicon/Technology Innovator，QCT – Open System/Solution Provider。Together We Provide the Best。

以上是云达科技给大家做的一个报告，时间有限，谢谢大家，也希望今天这个活动能让大家学习很多。谢谢。