近些年来,随着云计算、大数据以及物联网等技术的普及,应用越来越丰富、数据量也成几何级增长。根据IDC的研究,从2012年以来数据总量年增长率均在50%以上。数据量的爆炸性增长带来了旺盛的存储需求,使得存储成为企业IT投资中不可忽视的一部分,给企业存储带了巨大压力。
在大数据时代,面临海量数据的存储需求和日益频繁的访问需求,如何满足需求同时降低存储支出,是当下很多企业面临的一大挑战。中科曙光推出的分布式统一存储系统ParaStor正是可以帮助企业应对海量数据存储(尤其是海量非结构化数据)挑战的手段之一。结合英特尔至强可扩展处理器强大的性能、灵活的配置与x86强大的生态,通过大量技术创新,实现了系统硬件的高效定制及系统软件的深度优化等,中科曙光ParaStor在充分满足海量数据存储需求的同时实现了成本和访问性能的平衡。
数据洪流冲击下的存储
存储与网络、计算共同构成IT基础设施三大支柱。和网络、计算一样,近几年来存储也面临数据洪流带来的巨大冲击。
正如我们普通人也能感知到的,数据量正在呈爆炸性增长,存储系统需要能承载指数级增长的数据量,同时还要能在海量数据存储和维护的情况下满足用户访问需求,这并非易事。以互联网行业为例,这个行业除了要面对海量数据的存储需求外,一个典型特征就是需求的高度不确定性,在高峰期面临海量用户高并发访问需求是一个巨大挑战,这就需要存储系统具有灵活的可扩展能力,来确保数据及时存储和用户的一致性体验。
数据爆炸性增长带来的直接后果就是存储成本的迅速攀升。企业的存储投入不可能随着数据量的增长而快速增长。实际上,近几年在市场竞争压力之下不少企业的IT投入不增反减。不少传统企业过去采购了专用存储设备,继续延用这种模式不仅成本吃不消。同时,灵活性也不够,无法按需进行扩展。
另一方面,激烈的市场竞争之下,企业都在精细化运营,都在追求降本增效。怎样能花更少的钱存更多的数据,并且能让用户享受到更高的IOPS,这会直接影响企业的竞争力。正因为如此,互联网行业纷纷转向了以分布式存储为代表的新兴存储技术。实际上,不只是互联网行业,分布式存储也在传统行业得到普及。Gartner预测,到2021年预计超过80%的企业数据将部署到云数据中心的分布式存储系统上。这就是促使企业不得不考虑更高性价比的存储技术。
当然,数据的多样化加剧了这个挑战。和早些年前甚至10多年前相比,今天的联网设备多了、应用类型多了,在传统的结构化数据之外新增各种复杂的非结构数据,而且新类型还在不断增加,同时也要适应越来越复杂的用户需求,作为后台的基础架构必须要适应这种变化。
另外,企业需要智能化运维。原因也不难理解,如上所述,今天的企业都希望精细化运营,数据越来越多,存储系统越来越复杂,同时有多种存储需求(块存储、文件存储、对象存储等)要满足,简化管理势在必行,这也正是当下统一存储、融合存储、分布式存储等流行的原因之一。
ParaStor:大数据时代的存储
分布式统一存储系统ParaStor是中科曙光公司在近10年来海量数据存储与处理的基础之上推出的一款自研的高端存储产品。ParaStor针对大数据时代的特点,面向海量非结构化数据存储场景全新设计并全面优化,广泛适用于存在数据共享需求的多种应用领域,如互联网、媒资管理、视频编辑处理等行业或场景。ParaStor具有如下特点:
1. 高扩展能力。ParaStor对外提供单一的命名空间,支持3~4096节点的弹性无缝扩展,单一存储空间容量可扩展至EB级。同时,ParaStor具备超强的横向扩展能力,只需简单地增加存储节点,即可获得更大的存储容量和更多的数据通道,从而获得更高的系统聚合带宽和I/O性能。
2. 高性能。ParaStor将数据切片成固定大小的对象,条带化地分布到多个存储节点的多个磁盘上,提供并发的传输通道实现并行的I/O访问,有效地提高了存储系统的读写带宽和IOPS。同时,系统聚合性能随着节点规模的增加而线性增长,消除传统的纵向扩展存储架构的性能局限性。除此之外,ParaStor通过多项技术进一步提升性能,包括内部高速互联、内核态POSIX协议、SSD缓存等。
尤为值得一提的是,作为一款分布式存储系统,ParaStor基于通用x86服务器构建。借助英特尔至强可扩展处理器强大的性能,可以为存储系统提供强大的计算能力。同时,采用英特尔至强可扩展处理器还可提供灵活的配置,比如,支持处理器之间采用更多、更快的UPI总线,大幅提升CPU之间的协作效率。另外,至强可扩展处理器集成的AI优化能力也为存储系统的智能化管理和运营提供了很好的基础。
3. 多协议支持。ParaStor构建的集群存储系统,对外统一提供多种存储协议:提供文件存储服务,包括Linux POSIX、NFS、SMB、FTP等,满足Windows、Linux、Unix等异构平台的不同访问需求;提供对象存储服务,兼容Amazon S3接口,满足云生态的应用需求。特别地,同一集群可以同时提供文件/对象接口,访问方式更为灵活。
4. 简易运维。ParaStor提供基于Web的图形化监控管理界面,提供系统配置管理、监控告警、远程数据复制等功能,直观易懂的图形化界面方便用户实时监控系统的状态,简化了安装和维护过程,提高了管理效率。同一Web界面可以管理多套ParaStor,便于多集群的统一运维。
5. 稳定可靠。部件、网络、节点等主要部件冗余设计,无单点故障;支持副本/纠删码数据保护机制,按需选择冗余方式。
深耕技术,打造好产品
众所周知,当今社会正在向智能化演进,数据是智能化的基础。显然,只有有了数据,才能谈到智慧和智能,才有数字经济,才能谈推动社会的进步和发展。基于这一考虑,中科曙光一直围绕“数据”进行战略布局,所研制的产品也围绕着数据进一步发展,ParaStor正是其中之一。
早在2009年中科曙光就开始了ParaStor的研制。作为中科曙光存储的旗舰产品,ParaStor代表了中科曙光对产业发展趋势的判断,包括今天流行的海量存储需求、云环境、存储通用化等等,ParaStor都能很好地应对。今天来看,正是中科曙光对产业发展趋势的准备把握、多年来在技术上坚持创新和突破,才成就了今天的ParaStor,最终让于用户得以通过ParaStor更从容应对数字经济的各种挑战。
好文章,需要你的鼓励
施耐德电气以“新质服务+产业向‘新’行”为主题,第六次参会,展示全新升级的“新质服务体系”,围绕创新驱动、生态协同和行业赋能三大核心领域,以全新升级的“新质服务体系”,助力中国产业向高端化、智能化、绿色化迈进。
香港中文大学联合上海AI实验室推出Dispider系统,首次实现AI视频"边看边聊"能力。通过创新的三分式架构设计,将感知、决策、反应功能独立分离,让AI能像人类一样在观看视频过程中进行实时交流,在StreamingBench测试中显著超越现有系统,为教育、娱乐、医疗、安防等领域的视频AI应用开启新可能。
甲骨文正在成为大规模基础设施供应商的可靠选择。该公司通过AI技术推动应用开发,构建GenAI模型并将智能代理集成到应用套件中。CEO萨弗拉·卡茨透露,公司剩余履约义务达4553亿美元,同比增长4.6倍,并预测OCI收入将从2026财年的180亿美元增长至2030财年的1440亿美元。甲骨文正积极布局AI推理市场,凭借其作为全球最大企业私有数据托管方的优势地位,有望在云计算领域实现重大突破。
Atla公司发布Selene Mini,这是一个仅有80亿参数的AI评估模型,却在11个基准测试中全面超越GPT-4o-mini。通过精心的数据筛选和创新训练策略,该模型不仅能准确评判文本质量,还能在医疗、金融等专业领域表现出色。研究团队将模型完全开源,为AI评估技术的普及和发展做出贡献。