存储管理的发展有其自身的发展规律,并受到数据增长以及相关标准的出现的影响,诸如光纤通道、iSCSI和NFS,所有这些保障了存储系统的集中化和标准化。
随着虚拟化技术逐步成为服务器和桌面系统优化的主流技术,存储成为高扩展性的虚拟化解决方案之中最为关键的部分。离开了集中化的存储系统,一些关键特性,诸如在线的虚拟机迁移,就无从谈起。
然而,虽然存储使得用户获益颇多,其同样为存储和虚拟化管理员带来了许多新的挑战。服务器和其使用的存储系统之间的关系由于虚拟化技术变得更为复杂。抽 象层的出现使得存储集中化的理念,比如逻辑单元号、RAID组,以及虚拟化对象的磁盘,比如虚拟磁盘驱动器(VHDs)和虚拟机驱动器(VMDKs)变得 更加难以理解。存储管理员必须有新的方式在虚拟化环境中为上层提供相应的存储资源。
关于挑战
虚拟化带来了新的操作上的麻烦。由于许多虚拟机可以存在于同一个存储卷逻辑单元号中,虚拟服务器和虚拟桌面的I/O特性更为随机,难以预测。通过一些特性,比如VMware公司 的Storage vMotion以及Microsoft公司的Hyper-V Live Migration,今天Hypervisor能够在虚拟机迁移时为存储体系架构提供大量的I/O吞吐量。同样,由于虚拟机的拷贝、克隆及其它在环境之中 的复制等操作,虚拟化会加强存储的利用率。
我们同时还要考虑到许多大型企业中的运营结构。随着IT基础架构的增长,各种存储、网络、服务器和数据库更趋向于分割成各个独立的部分。存储管理员过去或许可以只针对存储而很少顾及其它体系架构的部分。不过虚拟化改变了所有这一切,使得这些隔离 的部件需要比过去任何时候更为集成起来。
策略的改变
在虚拟化环境中实现高效地存储管理需要满足两项基本条件:容量和 性能。当然在非虚拟化环境中这两项也非常之重要,性能是虚拟存储设计中的首要考虑因素,对整个虚拟化体系架构的运营会产生重要的影响。在非虚拟化环境中, 单个逻辑单元号的延迟响应一般只会影响连接其的某一台主机;而一个支持众多虚拟机的大型逻辑单元号的延迟影响会更为广泛。尤其是在虚拟桌面体系架构之中 (VDI)。在这里,存储管理员可以考虑以下一些策略。
应用硬件加速和API.许多供应商(包括顶尖的六家存储供应商:Dell、 EMC、HP、HDS、IBM和NetApp)今天支持硬件层的虚拟I/O加速。其通过Hypervisor层中的API接口,比如vStorage APIs for Array Integration(VAAI),进行部署。VAAI从Hypervisor卸除了一些“较重的”部分,让存储阵列以最佳方式来进行核心操作,比如子 LUN锁定,卷拷贝以及数据清零。就在最近的vSphere5中,VMware补充了精简回收特性,这使得Hypervisor可以从自动精简配置的逻辑 单元号中重新发布那些已经删除后的存储,而非直接将数据写入删除后的数据块。
将存储管理工作移至阵列层可以实现诸多好处。首先,这降低 了Hypervisor层的工作负载,降低处理器符合和存储网络层的传输量。其次,这种方式使得存储阵列可以优化并对I/O敏感的运作进行优先级排序,这 或许是阵列内部优化所能实现的最佳目标。作为业内领先的Hypervisor供应商,VMware已经开发了诸多种APIs,其中包括用于数据保护的 vStorage APIs(VADP)以及存储识别的vStorage APIs.VASA旨在提升可扩展的存储环境,提供Hypervisor存储逻辑单元号的配置信息,如复制和性能参数。
针对性能的配置。虚拟环境中的I/O性能至关重要。通常来说,虚拟环境中有大量的随机工作负载,这使得优化I/O工作负载对于阵列而言更为困难。有一些技术可以用以性能的优化,包括:
使用自动精简配置
虚拟环境中虚拟机相对容易创建,这使得存储容量很容易就会失去控制。尤其是在按需供应的环境中。自动精简配置功能能够使得磁盘空间只在数据真实从主机写 入磁盘后才被消耗,而不是被每个虚拟机预留出固定的容量。该特性可以部署在Hypervisor中,并且是存储平台中一种非常常见的选项。
使用供应商提供的插件
几乎绝大多数的企业级和中端存储平台都提供集中化管理的工具插件,比如VMware的vCenter.这为虚拟主机和存储都提供了一个“单一的虚拟管理 平台”,在许多情况下存储通过这种方式可以直接从vCenter控制台中配置。对于没有专职负责存储的企业而言,这可以在很大程度上减少IT管理员的工作 量。
为虚拟服务器定制的存储
许多新兴的存储供应商都已推出了专为虚拟服务器环境设计的硬件和软件存储解决方案。这其中包括Atlantis计算机公司,SolidFire、Tintri公司和Virsto软件。从本质上讲这些产品都旨在应对上述问题,包括随即I/O等挑战。
自动化技术
管理正在动态变化的虚拟化环境,对容量和性能进行优化,这着实是一项耗时的过程。随着虚拟化环境的扩展和日趋成熟,技术正在向着更自动化的优化过程发 展。个各Hypervisor供应商开始在其产品中包含这种功能,实现一些半自动化的特性,从而降低管理员对存储环境持续调优的工作负载。在 vSphere 5中,VMware引入了存储资源分配调度(SDRS),提供一定程度上地存储自动化分配。SDRS提供自动化的VMDKs初始部署,虚拟机的自动迁移以 满足容量和性能要求和策略,例如高I/O的虚拟机应当部署在不同的硬件上。
随着虚拟化体系架构的不断扩展,以及更加服务为导向的资源提供方式,向更自动化地存储管理发展是绝对必要的。存储供应商也正针对虚拟服务器自动化这种市场需求不断推出新的产品和APIs.
不容忽视的数据备份
数据备份总是被视为和存储管理关联不大的一种操作;然而,其在高可用的存储环境下又是至关重要的。在虚拟化体系架构的备份和数据恢复中,传统的备份解决方案确并不高效,可以利用其它技术来优化备份和数据恢复流程。
在数据块形式的存储部署中,传统的备份使用主机本身来备份数据。这是由于存储阵列无法认识到在某个逻辑单元号上的数据是以何总格式存储的。主机将文件系统部署在逻辑单元号上,备份软件从而依靠主机来提供文件流的备份操作。
在所有的虚拟平台上,虚拟机以一个或一系列文件的形式存储,即便在使用数据块形式的存储阵列中亦是如此。这使得备份流程变得更为简单,因为备份可以简单地以拷贝文件的形式进行,从而备份起所有的虚拟机。
一些Hypervisor供应商,诸如VMware,提供APIs允许第三方软件在虚拟机内部跟踪数据块的变化,提供只针对自上次备份发生后产生变化 的,更高效的备份。所有的Hypervisor供应商同时提供虚拟机快照功能。虽然这会导致“非连续性”拷贝,但在一些实例中,通过客户端软件,快照可以 和主机文件系统协调静止时间,从而进行连续性的快照。
存储工具的发展
存储将在部署可扩展性的虚拟化体系架构中成为关键要素。随着这些环境的扩展性和成熟度,存储管理员需要借助工具和技术,诸如自动化和可视化软件来应对日趋整合的IT世界中的各种挑战。
相关链接一:虚拟机和存储的最佳实践
以下列出一些实践存储在虚拟服务器环境下管理的最佳实践建议:
相关链接二:供应商管理虚拟机存储的工具样例
除了虚拟化管理工具插件,有许多存储和第三方供应商工具可供选择。比如:
好文章,需要你的鼓励
这篇研究提出了OThink-R1,一种创新的大型推理模型,能够像人类一样在快速直觉思维和慢速深度推理之间自动切换。研究者发现,现有推理模型即使面对简单问题也会生成冗长的推理过程,导致计算资源浪费。通过分析推理轨迹并使用LLM评判员区分冗余和必要推理,OThink-R1能根据问题复杂度动态调整思考深度。实验表明,该方法平均减少了23.4%的生成文本量,同时保持或提高了准确率,代表了向更高效、更人性化AI推理系统迈出的重要一步。
这项研究提出了SHARE,一种新型文本到SQL修正框架,它利用三个小型语言模型(SLM)协同工作,实现高效精准的SQL错误修正。SHARE首先通过基础行动模型将SQL转换为行动轨迹,再经过模式增强模型和逻辑优化模型的层次化精细化修正。研究团队还创新性地提出了层次化自演化训练策略,大大提高了训练数据效率。实验结果表明,SHARE在多个基准测试上显著提升了SQL生成准确率,计算成本仅为传统方法的十分之一,并展现出强大的泛化能力,适用于各种生成器模型和SQL方言。
这项由香港大学和南京大学等机构研究人员联合开发的双专家一致性模型(DCM)解决了高质量视频生成中的效率难题。研究团队发现扩散模型蒸馏过程中存在优化冲突:早期阶段负责语义布局与运动,后期阶段关注细节精修,两者学习动态差异显著。DCM创新性地将这两个任务分配给不同的专家模型,通过参数高效的实现方式,使模型仅需4步即可生成接近50步原始模型质量的视频,大幅提升生成速度,为实用化AI视频创作铺平道路。
这项研究介绍了QARI-OCR,一种基于Qwen2-VL-2B-Instruct模型微调的阿拉伯文字识别系统。研究团队通过三阶段合成数据训练,成功解决了阿拉伯文字识别中的主要挑战:曲线连笔特性、上下文变化的字母形状和发音符号。QARI v0.2模型创下了0.061的字符错误率和0.160的单词错误率,超越了现有开源解决方案,为阿拉伯文化遗产的数字化保存提供了重要工具。