[导读]从“9.11事件”之后大量的企业因为数据丢失而宣告破产可以看出数据的重要地位。随着计算机技术的发展,实现了数据计算和数据存储的分离,而数据存储由存储系统完成。存储系统的出现,尤其是高端存储系统的出现使得数据存储变得专业化,存储系统可以为用户提供更高性能、可用性和可靠性的数据存储功能。本系列文章,从高端存储系统的发展趋势讲起,进而对浪潮高端存储系统所涉及的关键技术和关键特性,使读者对高端存储的发展历史和浪潮高端存储系统有一个整体的认识。
从1990年Symmetrix之父Moshe Yanai推出Symmetrix 4400存储系统至今二十多年,高端存储系统无论从硬件架构还是软件功能上都发生非常明显的变化。本文将通过高端存储发展历史分析一下高端存储的发展方向。
分布式灵活可扩展
早期的高端存储系统的各个功能模块往往集成在一个大的机柜当中,通常包括控制器模块、缓存模块和后端接口模块等,它们通过背板进行连接。这种架构的缺点是存储系统的各个部件耦合比较紧,并且各个功能模块的定制化比较严重,存储成本较高。
随着时间的发展,用户渐渐意识到了这种紧耦合存储系统的缺点,希望存储厂商可以提供一种可灵活扩展的存储系统,以便根据需要分阶段的进行存储方面的投资,而不是一次性进行大量的投资。存储厂商为了迎合用户的需求,开发了基于高速互联的分布式的存储系统。在这种高端存储系统架构中,存储系统可以由单个存储引擎对外提供存储服务,也可以通过将各个引擎(控制器)由高速且低延时的网络进行互联,形成一个高性能的高端存储系统,整个存储系统非常类似于高性能集群系统。
高端存储系统的发展趋势是松耦合和可动态扩展,但各个存储厂商对存储系统的实现方式又不尽相同。例如国外主流厂商的系列存储采用虚拟矩阵试下存储系统引擎的互联,而每个引擎又是由一个双控器存储实现。也有很多存储厂商也实现了分布式架构的高端存储系统,基本架构都是由高速互联的相对独立的引擎构成,并通过集群的方式来提高存储系统的性能和存储容量。基于分布式方式构建的高端存储系统具有天然的可扩展的优势,可以方便地通过增加引擎的方式近似线性的增加存储系统的性能和容量。
存储资源虚拟化
由于用户采购和产品更迭等原因,在大型的数据中心中往往存在各个厂商的不同档次的存储系统。为了能够应付这种情况,存储系统管理员需要学习不同厂商的设备的管理方法、为不同应用规划不同性能的存储资源以及进行不同存储设备交叉管理等等。这种情况的存在极大的增加了数据中心存储设备维护的难度和复杂性。
为了解决上述问题,存储厂商纷纷提出存储虚拟化技术。存储虚拟化技术可以从多个维度实现,从而简化存储系统管理的难度和复杂度。大致包括如下几方面:
异构存储资源逻辑化:存储厂商可以将不同级别的存储设备进行离散化和重组处理,为用户提供一个包含诸多属性的存储资源池。例如为用户提供一种支持数据分级和自动精简配置的存储池,此时,存储系统管理员可以结合QoS特性非常方便分配适用不同类型应用的存储资源。
存储设备块级重组:众所周知条带化可以提高存储系统的性能,而传统的RAID技术并发能力有限。例如RAID5采用7块磁盘的性能可能是最佳的,而磁盘数量增多时由于校验位的计算量将会增加,从而导致整体性能下降。块级重组采用一种新的数据组织方式,其将传统RAID进行分块处理,并将分割完成逻辑块组成LUN,使得LUN可以跨越所有的RAID,从而提高LUN的并发性。如图2所示在传统RAID基础上划分逻辑块,并将逻辑块组织成为LUN。由于LUN是有条带的逻辑块组成,用户数据可以实现并发的数据访问,从而在性能上得到极大的提升。
统一存储管理:不同存储厂商的管理界面往往有很大的差别。SMI-S存储管理协议实现了对存储设备的一致性的管理。遵循SMI-S的存储设备间可以实现相互管理,从而使用户可以通过统一的管理方式实现对数据中心存储设备的管理,一定程度上实现了存储管理的虚拟化。
完善的数据保护功能
数据是企业的生命,一个企业的数据对于企业的生存和发展有着举足轻重的作用,因此,对于高端存储系统用户对于存储系统容灾的要求已成为基本要求。数据保护功能可以细分为不同的功能特性,在存储领域通常包括快照、本地复制和远程复制等。
未来高端存储系统应该能够为用户提供不同级别数据保护功能,从而能够满足用户的不同应用场景。通常来说快照可以实现数据级的容灾功能,对于用户误操作、病毒和数据清理等情况造成的数据丢失,可以通过快照进行还原。本地复制可以实现盘阵级别的数据保护,也即在存储数据盘阵出现毁坏或者故障的情况下,仍然能够恢复源数据。而远处复制技术可以解决存储系统故障造成的数据丢失问题。
随着存储成本的增加,支持双活功能的远程复制越来越成为用户的主要需求,用户希望能够同时使用数据生产中心和灾备中心的所有存储资源,以免造成资源的浪费。因此,单纯的数据生产中心和灾备中心的概念会慢慢我们的视野中消失。
高性能
高端存储系统之所以高端是其可以对外提供更高性能,更大容量和更高可靠性的存储服务资源。目前,各个存储厂商都在提高存储系统性能方面努力,也即高端存储的IOPS基本上都能达到百万级。为了提高存储系统的性能,各厂商在系统架构上都有其特性,从而在系统架构保证可以提供如此级别的性能。
高端存储系统呈现出灵活性、扩展性、高性能和易用性等特点。随着技术的不断发展,高端存储将逐渐变为一种大众化的存储系统,通过其弹性化的架构、丰富的软件功能、极高的访问性能和稳定性为不同领域的客户提供服务。
好文章,需要你的鼓励
美国多州和部分国家要求特定应用进行年龄验证,澳大利亚已禁止16岁以下用户使用社交媒体。新提案《应用商店问责法案》建议由苹果和谷歌负责统一验证用户年龄,而非各开发者单独验证。这将提升用户体验,用户只需向苹果或谷歌验证一次身份。凭借苹果在隐私保护方面的优势,该方案可扩展至Safari浏览器,为需要年龄验证的网站提供确认信息,而无需透露用户个人数据。
香港大学团队开发的"炼金术师"数据筛选系统,能从海量图片中精选一半高价值数据,训练出比使用全量数据更优秀的AI图像生成模型。该方法通过观察模型学习反应判断数据价值,发现适度复杂的图片比简单图片更有训练效果,实现了5倍训练加速和显著性能提升。
AI编程助手Cursor背后的公司Anysphere宣布收购AI代码审查工具初创公司Graphite。据报道收购价远超Graphite今年早些时候B轮融资时2.9亿美元的估值。此次收购具有战略意义,将AI代码生成与AI代码审查工具相结合,可大幅提升从编写到交付的整体效率。Anysphere估值已达290亿美元,近期频繁收购,上月收购技术招聘公司,今年7月还收购AI客户关系管理初创公司Koala的团队。
哥伦比亚大学等机构研究团队发现,在AI模型的强化学习训练中存在一个悖论现象:阻碍探索和阻碍利用竟然都能提升性能。研究揭示了裁剪技术实际是熵调节器而非学习信号,策略熵与性能无直接因果关系,并提出奖励错配理论解释随机奖励的积极效果,为AI训练方法设计提供了新的理论基础。