2016年8月5日,全球开源领导厂商红帽携手ZD至顶网、Intel、云达科技共同举办的主题为“开放 融合 开源开启存储新世界”的2016年中国开源企业存储峰会在北京富力万丽酒店隆重召开。在下午峰会上,Intel亚太研发有限公司云存储技术组高级软件工程师张建先生带来题为“优化Ceph效能的最佳实务技巧”的主题演讲。
张建表示Intel一直来为Ceph进行优化效能,包括结合最新的3D Xpoint内存技术的性能加速,包括在实际应用中优化压缩,加密、硬件卸载以及RBD缓存和缓存分层的优化,通过IA优化的存储库最大限度的减少延迟。Intel还参与了很多开源项目,做了很多性能分析以及工具,针对特定应用场景的优化,通过这种方式促进Ceph的正当发展。
以下是嘉宾的演讲实录:
张建:大家好,我是来自于Intel亚太研发有限公司云存储技术组的张建,今天给大家分享一下在优化Ceph效能的最佳实务技巧。
首先我会自我介绍一下。下面我会结合背景为什么做Ceph的优化,做这个有什么意义以及怎么做。有通用的部署以及指南。然后有一些案例,包括块、对象以及密集研发过程中的工具,然后通过我一些的特殊工具能够达到什么样的程度,我欧合作在哪里以及未来的机会在哪里。最后做一下Ceph的介绍和SMMARY的介绍。
第一个介绍——Ceph at Intel。这些应用,其实我们在Optimize做了一些,主要是基于Intel平台。比如做Compression, Encryption hardware offloads (QAT、SOCs)。这是第一。
第二是PMStore(for 3D XPointDIMMs)。第三是RBDcaching and Cache tieringwith NVM。第四是IA optimized storage libraries to reduce latency。
第二块是做了很多性能分析以及工具,通过这种方式促进Ceph的正当发展,还有一些针对特定应用场景的优化。
接下来是一些尝试,会有管理工具,比如CDN, Cloud DVR, Video Surveillance, CephCloud Services, Analytics。
然后是基于Intel的产品,做一些开源项目,希望尽快地达成方案。
为什么要对Ceph做各种的优化?通过前面的嘉宾发言能够了解到。广大客户看中Ceph的是蔓延性。但从应用角度来看,有一些复杂的地方,比如怎么对硬件进行配置等,这些都有一些不确定性。另外,运营系统里需要对超系统本身做东西。另外在几百个参数里怎么获得我的参数,以满足我的需求。
在我们介绍的具体案例分享中,看看Intel所做的大会,吸引了400多个人参加,系统上非常好。但同时也存在一些问题,比如右边的图(图),前三个的问题在哪里?(图)第一个是Performance,第二个是code complexity。第三个是Stability。
根据这些问题,做了一些方案。这个图是Ceph的投资架构图。(见PPT图:Ceph—General Community Deployment Practices)(PPT图:Available Ceph solution recipes)(PPT图:Intel solutions for Ceph deployments)
下面是具体的案例,会从这几个方向分享一下我们针对特定的传统做的各种方法。一个是Ceph Tunings。接下来看一下Ceph Block performance。(见PPT图Ceph Blocr perfomance—Test Results)。通过右边的图可以看到,前面的分别可以达到86%和90%的带宽,有一定的优化空间在里面。左边是Drop OSD Cache—Prepare Data (dd)—Run FIO,1.40GB Span。2.4 IOs: Sequential (W,R), Random (W, R)。3.400s test。4.Scale RBD images –1 to 120。
(PPT图:Ceph Block Performance –Tuning effects)
基于前面做的,我们做了优化,数据…5%左右。第二个是把原来的关掉,比较明显,大概有59%。做一些red hat。所以我们会去做一些。
接下来一块是针对对象。在这个节点我们使用了我们自己开发的工具,这种规模比较下,希望100高一点。我们做了很多。后来还有一个best 。接下来是我们做的重点是现在群。这个方面,大家可以看到没有任何性能的保留。参数设得比较高,可以看到在今天的对比下可以非常显著地提高运营系统。
当然还有很多优化空间在里面。
最后一块是基于上面的架构,为了保存数据,还是要去。所以在数据分析上,需要写一个。
这是对比(图),我们看一下对比图,我们做的,现在观察到的结果,有两倍。当然还有好多优化的地方。
最后一部分是CeTune。
第二部分是COSBench,可以到做很多应用。
最后一个VSM,这是2014年做的开源,产品化以后,OpenStack* Paris summit, designed to help lower the barrier to adopt Ceph.会提供不同的界面,The project earns a lot of interests from community, a few companies decided to adopt in production.
所以,第一点是越来越独到了。第二通过前面的案例分析可以看到,需要优化。第三ceph开辟新的领域,但还需要优化,进一步发挥出来。最后和Intel一起合作共同努力。
好,谢谢大家!
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。