[导读]从“9.11事件”之后大量的企业因为数据丢失而宣告破产可以看出数据的重要地位。存储系统的出现,尤其是高端存储系统的出现使得数据存储变得专业化,存储系统可以为用户提供更高性能、可用性和可靠性的数据存储功能。本系列文章,从高端存储系统的发展趋势讲起,进而对浪潮高端存储系统所涉及的关键技术和关键特性,使读者对浪潮高端存储系统软件有一个整体的认识。
浪潮新一代高端存储系统软件由基础操作系统、核心IO处理子系统、高可用监控子系统、管理子系统四部分组成,其中核心IO处理子系统又分为存储池层、缓存层、IO调度和数据复制层、存储协议服务层。通过层次化和模块化设计,隔离各层内部处理逻辑和业务,为实现系统可靠性和可扩展性提供良好基础。
基础OS:系统高效能和可靠性的基石
基础OS提供内存管理、进程管理、文件系统、设备驱动,浪潮高端存储系统软件对基础操作系统进行了精简和优化,打造出更适合于存储系统IO流处理的操作系统,其中就包括对SCSI设备子系统的优化:优化处理磁盘SCSI命令异常返回值,识别坏扇区、传输故障等不同状态,从而执行相应修复措施,有效提高磁盘使用率和可靠性。
核心IO子系统:层次化的系统存储服务核心
IO子系统实现对后端数据存储资源(磁盘)的组织管理、保护、缓存和按照开放存储协议标准(FCP/iSCSI)提供访问服务,是该系统核心部分。从建立在磁盘设备之上的存储池层到主机存储协议层,核心IO子系统分为:存储池层、缓存层、IO调度层和数据复制、存储协议服务层。
存储池层: 大容量虚拟化存储资源服务层
存储池层将磁盘数据分块,按负载均衡、离散分布原则进行组织,当单个盘失效时,智能计算热备块在池中的分布,使用多块成员盘进行重构,大大提高坏盘重构速度,避免传统单盘写入性能瓶颈造成RAID重构时间过长带来的数据可靠性风险。在可靠分布式RAID基础上,将数据进一步分块虚拟化,形成逻辑卷,支持元数据多副本保存和跨控制器镜像保护,保证数据可靠性。该虚拟化支持将数百块磁盘组成一个存储池,容量可达到PB级别,并实现自精简、分级等高级功能,当容量扩展时,支持数据块重新离散分布和负载均衡,为客户提供高效的存储空间使用率和高可扩展性。
缓存层: 性能和数据安全性的核心保证
缓存层提供了IO数据的全局缓存和跨控制器镜像功能,并为保证局部LUN访问性能进行分区缓存。该层实现数据智能预读取、数据缓存、和集中顺序写入存储池,是保证和提高系统IO性能的关键。全局缓存使任意存储池可使用系统所有缓存,并根据各引擎本地存储资源访问压力调整缓存分布,保证系统整体性能。缓存分区功能则为指定存储资源分配固定缓存,保证关键业务的性能。
IO调度和数据复制层:实现多引擎联合以及跨物理部件数据保护容灾
IO调度层接收来自存储协议服务层的读写命令,根据LUN数据缓存所在的控制器进行调度转发,以及提交给数据复制模块,实现多控融合和数据复制容灾保护。IO调度层将数据复制功能(快照、克隆、镜像和远程复制)的流程高度抽象和统一化,实现多功能并发调度处理,提高在多重复制保护时的并发,降低处理响应时间,保证主机IO业务的性能稳定性。
而数据复制子模块,从IO调度层接收IO事件,实现快照、克隆、镜像和远程复制等数据复制功能,提供跨磁盘、跨磁盘柜、跨系统等高级数据保护功能。在性能方面,数据复制功能涉及数据的大量读写转移,带来更大的IO压力,本系统实现依赖快照、克隆,任意数量快照克隆情况下对源卷写操作只需一次复制拷贝,并且支持将快照克隆目标卷建立在不同于源卷的存储池上,有效降低数据复制保护对系统业务性能的影响。
存储协议服务层:提供可靠数据服务和适应各主机应用
该层面向主机服务器客户端,提供存储协议服务层提供SCSI SAN服务,配合多控制器和多引擎硬件系统,本系统提供了多达数十上百的主机端口进行访问;通过实现数据读写、集群锁定、SCSI任务管理、ALUA(非对称逻辑单元访问)、拥塞处理、故障异常处理反馈等功能,配合客户端多路径软件、集群软件,实现对数据最优链路访问性能和可靠性。
高可用监控子系统:监管系统健康状态和业务连续性
该子系统建立在控制器之间冗余可靠的互联通信基础上,形成对系统所有控制器和引擎的状态监控,统一协调处理处理磁盘链路失效、控制器失效等异常事件,并为系统维护如更换部件、控制器提供支持。该子系统全面监控冗余部件、存储资源和服务健康状态,对异常事件状态进行自动处理,并记录日志和告警以通知管理员及时检查和处置,其中对于磁盘失效、JBOD链路失效、单控制器失效等单点故障,系统可通过冗余部件进行自动修复,保证业务和数据可靠性。
管理软件子系统:统一易用性管理的接口
管理软件子系统是本系统管理的接口,在现代企业IT设施日益增多,管理工作量和复杂度日益提高的情况下,系统的管理维护效率与系统的服务质量密切关联。本系统实现统一界面和终端管理,简化系统管理和提高维护效率,并扩展支持标准SMI-S、OpenStack等统一管理协议和接口。该管理软件子系统由管理客户端、管理服务器、管理代理组成,采用面向对象思想,统一所管理对象逻辑和方法,实现集中系统管理和监控,使客户使用本系统进行配置管理和维护的易用性大大提高。
浪潮新一代高端存储系统软件提供完整的基础数据复制保护功能、可靠而虚拟化的存储池、以及自精简、分级等高级特性,结合高规格硬件,联合多控制器和引擎提供高性能、可靠性,以适应当今企业级应用需求。
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。