全闪存数据中心的概念之所以很吸引人,是因为它可以消除耗时的系统调优。它使数据中心得以支持最大的虚拟机密度,它的存储响应时间让大多数应用程序提供者都感到满意。
随着闪存每GB价格的普遍下降,数据缩减方法,例如重复数据删除,压缩和精简配置等,也使全闪存数据中心从概念转变为现实。很少有厂商能够同时提供解决数据缩减难题的所有三种方案,所以重要的是知道哪个方法(如果有的话)对你的组织最为适用。
当考虑采用数据缩减技术使闪存更加实惠时,你必须考虑到可能的性能影响。在几近零响应时间的存储介质上添加任何层都会对性能产生影响,但关键问题是“应用程序或用户会注意到这层的影响吗?”你总是可以通过增加处理能力和内存来减轻性能影响的。
选择你所适用的数据缩减方法
对于绝大多数数据中心,任何数据缩减方法所带来的相关开销几乎都不被觉察。这些系统能够充分利用那些大多数数据中心无法利用的性能,所以花费一些数据缩减的处理周期来降低闪存系统的成本显然是值得的。
自动精简配置(Thin provisioning)是一种圆满的解决方案,几乎适用于每一个环境。动态增加一个卷的容量当然会产生开销,但它是很小的。这种技术作用很大,因为其他形式的数据缩减方法都不能对其进行优化。它将新增容量硬分配给指定的LUN,并且不再被其它所有LUN共享。
重复数据删除技术(Dedupe)能够跨文件消除数据的冗余部分。重复数据删除的回报是显而易见的,尤其是在虚拟环境中,不同的客户操作系统之间的数据其实存在着大量的共性。
然而,重复数据删除可能显著增加对性能的需求。它会创造大量的元数据,用于跟踪那些冗余数据中的独特数据和指针。快速传递重复数据删除所需要的元数据对于整个系统的性能是个关键。尽管闪存会带来一定帮助,在系统扩展时继续跟踪冗余还是需要更多的CPU能力,进而导致存储系统采购成本的提高。
压缩(Compression)也能够降低对存储容量的占用,它从根本上消除文件内的冗余,而不是文件之间的冗余信息。尽管压缩不可能提供像重复数据删除所提供的那么高的缩减比率,例如9:1,它提供的是一个更加一致的处理结果,因为它作用于所有文件,并且无需创建跨文件的冗余信息。这种文件级的高效率使压缩特别适用于数据库和其他单文件信息。
同步(线内)需求
数据缩减对于全闪存和混合存储系统能够带来两方面明显的好处:
有助于减少总容量需求。许多全闪存阵列厂商声称它们产品的价格点低于/GB,有的甚至宣称低于/GB。实际结果的不同取决于具体数据缩减实现的效率,并且每个数据中心对于这些技术需要达到的效率水平也多少有一些各自的特殊要求。
数据缩减。如果能够做到同步(线内),将有助于延长闪存模块的寿命。闪存模块在写操作上的局限性已广为人知,它们都有预期的最大写入次数。
在数据被写入闪存之前执行这三个数据缩减方法,这被称为同步(线内)数据效率(inline data efficiency)。例如,如果你使用了所有三种方法,你能达到5:1的缩减比率 - 一个合理的结果。 5:1的数据缩减意味着写操作减少为原先的20%,这将显著延长闪存模块的使用寿命。
那么哪种方法最好呢?这取决于使用场景 - 大多数数据中心正在为各种不同的工作负载部署并使用闪存。曾几何时,每种数据缩减方法对于某特定类型的工作负载最为有效。而对于混合工作负载,最有效的系统应该是具有上述三种功能,并且能够同步进行数据缩减的。目前,能够同时提供三种功能的系统还很少见。
对于具体应用场景,答案会有所不同。例如,在数据库环境,经过压缩的系统就已经足够了。如果该数据库有非常苛刻的性能要求,那么不经过数据缩减操作或者关闭数据缩减可能是必要的。对于虚拟环境,使用具有重复数据删除功能的系统可能更加适合。
数据缩减的替代方案:本机容量
数据缩减的一种替代方案是本机容量。在过去,不带数据缩减功能的通用闪存阵列系统价格过于昂贵。但现在,像TLC和3D NAND等新兴的高密度闪存技术,使得全闪存阵列得以突破/GB甚至更低。这些新技术虽然在耐用性方面问题更大一些,但它们可以与更可靠的SLC联合使用,充当对写操作更加敏感的TLC层的减震器。
这种方法的优点是,数据中心能够确切知道每GB的成本,无需再操心数据缩减变量以及使用它所产生的性能开销。
毫无疑问,数据缩减技术使全闪存数据中心的概念更加现实。数据缩减技术的每个支柱——重复数据删除,压缩和自动精简配置,都具有价值。然而,当全闪存阵列可以集三大功能于一身,并且在数据写入闪存模块之前能够完成同步(线内)数据缩减操作时,这些方法才是最有效的。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。