存储产业正在发生颠覆性的变化,主要有两大推手:一个是新一代存储介质SSD;另一个是分布式存储的演进,以SDS(软件定义存储)为代表。
根据IDC预计,2017年~2021年期间,全球软件定义存储市场的复合年增长率将达到13.5%,到2021年市场规模可接近162亿美元。在SDS市场中,主要细分市场为块、文件、对象和超融合基础设施(HCI)。IDC预计,SDS市场未来五年复合增长率为28.8%,超融合市场为24.7%。
应用如何过渡、迁移?
分布式存储技术首先成功应用在互联网企业的应用场景。
鉴于无法预计的互联网访问流量,互联网迫切需要一种弹性十足的IT基础架构,传统磁盘阵列以Scale Up为主,且价格昂贵,难以满足需求。对此,互联网企业不得不寻求更加具有成本竞争力的方案。
以成本优异的x86工业标准服务器为基础,通过强大的软件调度管理能力,互联网企业成功践行了分布式软件定义存储,从而开辟了以Scale Out为特征的分布式存储应用。
但是与互联网企业不同,传统企业以往多采用集中部署模式,例如存储以磁盘阵列为主,属于Scale Up模式,上层应用也是建立在这个模式基础上的。
换句话说,与互联网企业相比,传统行业企业有历史的包袱,存在兼容性的问题。此外,行业性质以及监管不同,较之互联网企业,传统行业企业用户对于可靠性、稳定性有更高的需求。
鹏云网络创始人陈靓博士
原AWS核心架构师、S3、Glacier存储项目团队负责人,华裔科学家陈靓先生表示:传统企业应用上云,在存储方面需要解决:
1)可用性与可靠性,这是用户最为关心的问题,当节点或磁盘故障时,业务不停,数据不丢是必须的。
2)性能。传统业务系统对IO延迟比较敏感。
3)应提供丰富的企业级存储服务功能,例如,快照/克隆技术提供快速数据恢复、以及多用途数据副本等能力;在线迁移能够根据实际需求为业务系统调整存储资源配置;QoS功能在多业务系统复杂环境下充分保证关键业务系统的存储性能供给。
ZettaStor和原生块存储
作为原AWS核心架构师、S3、Glacier存储项目团队负责人,陈靓先生非常了解对象存储应对块数据需求的不足。
机缘巧合,2012年,陈靓应南京市政府的感召归国创业,创办了南京鹏云网络科技有限公司,并推出了从最底层开始研发的ZettaStor DBS软件定义分布式存储系统,提出了原生块存储的概念。
它是以裸设备方式直接管理底层硬盘,并整合成为块存储资源供上层应用来访问使用,由于并不存在对象存储的中间转换过程,因此能够实现低延迟的高I/O访问效率。
考虑到传统企业级应用对于功能的需求,ZettaStor DBS还提供了自动精简配置、快照/克隆、分级存储、数据复制和迁移、SSD缓存加速、QoS管理、访问控制、多路径冗余等完整的功能。ZettaStor DBS所具有的机房多级容灾、故障域隔离、双活容灾解决方案可以很好满足企业级用户业务的需求。
ZettaStor DBS以标准的iSCSI/SCSI协议和私有的LBD协议对外提供存储服务,并可以通过对接Cinder API、标准REST接口,可以为OpenStack等云计算管理平台的统一管理提供技术支持!
ZettaStor DBS产品架构图
谈到原生块存储,陈靓表示:其实概念并不重要。在担任AWS核心架构师期间,其内部很少谈论概念,更多是专注在要解决哪些技术问题。用户应该更加专注需要解决的问题,而不应该盲从于概念、标准或者趋势。其实,关注问题不同,着眼点也不同。
对于原生块存储、非原生块存储,测试和验证将是一个非常重要的方法。但是在测试过程中,也应该结合实际,谨防被一些“猫腻”手段所蒙蔽。
以可靠性测试为例,重点要考察的是:当集群中磁盘或节点发生故障时,数据会不会丢失?业务会不会中断?中断的时长是多少?
很多SDS的容错域都是提前配置好的。以3副本9个节点为例,通常会配置3个容错域A\B\C、每个容错域各3个节点,每个容错域保存独立的副本数据。例如当以一个容错域A的3台机器都故障时,还有两2个副本存在,数据不会丢失,业务照常运行,这就是通常所说的能容忍1/3节点宕机。这样的要求大多数厂家都能做到,但如果同时B域或者C域也有机器down机呢?
这就是测试中,用户需要仔细考察和验证的。
再以性能测试为例,SSD缓存对性能测试有很大的影响,特别在小数据量时,看不出来系统的差异,但在实际中,当数据量、负载加大,SSD存在被穿透的可能,这时数据就需要落盘(写到硬盘),这个时候良莠不齐,高低立判。当系统发生磁盘/节点故障,恢复数据是否会影响系统性能表现。
小结
传统企业没有办法和互联网企业相比,无论IT管理模式,技术水平,还是发展阶段,二者完全不同。所谓橘生淮南则为橘,生于淮北则为枳,无论对于互联网企业、云计算服务商,还是对于传统企业用户,服务的对象,面临场景不同,其选择也就不同,切不可为商业化的宣传所误导!
好文章,需要你的鼓励
在Meta Connect大会上,Meta展示了新一代Ray-Ban智能眼镜的硬件实力,配备神经腕带支持手势控制,电池续航翻倍,摄像头性能提升。然而AI演示却频频失败,包括Live AI烹饪指导、WhatsApp通话和实时翻译功能都出现问题。尽管Meta在智能眼镜硬件方面表现出色,但AI软件仍远未达到扎克伯格提出的"超级智能"目标。文章建议Meta考虑开放AI生态,允许用户选择其他AI服务商,这可能帮助Meta在AI硬件市场获得优势。
DeepSeek-AI团队通过强化学习技术开发出DeepSeek-R1系列推理模型,无需人工标注即可自主学习复杂推理。该模型在数学、编程等领域表现卓越,在AIME 2024中达到79.8%准确率,编程能力超越96%人类选手。研究团队还通过知识蒸馏技术将推理能力传递给小模型,使7B参数模型也能超越GPT-4o。这项突破为AI推理能力发展开辟新路径。
英伟达同意以50亿美元收购英特尔股份,双方将合作开发多代数据中心和PC产品。英伟达将以每股23.28美元的价格收购约4%的英特尔股份,成为其最大股东之一。两家公司将通过NVLink接口整合各自架构,实现CPU和GPU间的高速数据传输。英特尔将为英伟达AI平台定制x86处理器,并开发集成RTX GPU的x86系统级芯片,用于消费级PC市场。
微软研究院推出rStar-Math系统,通过创新的"深度思考"训练方法,让小型AI模型在数学推理能力上达到甚至超越OpenAI o1水平。该系统采用代码验证、过程偏好模型和四轮自进化训练,将70亿参数模型的数学能力从58.8%提升至90.0%,在美国数学奥林匹克竞赛中达到前20%水平,证明了精巧方法比模型规模更重要,为AI发展开辟了新路径。