存储圈真是个神奇的领域,各种新鲜名词层次不穷,前有块存储、文件存储,后有混合存储、统一存储,如今对象存储又大火,各个行业也顺应趋势纷纷换成对象存储。那么,到底如何理解对象存储?哪些领域迫切使用对象存储技术呢?
事实上,对象存储的发展主要源于需要长期存储大量非结构化数据的高性能与弹性。最开始是由亚马逊在2006年推出的S3(Simple Storage Service),此后,业内各大厂商纷纷开始涉足此市场,推出各种产品,形态各异。
回顾20年,存储领域有块(传统存储)和NAS设备,最早还用磁盘来存储数据,不过各种存储技术在容量及可扩展性上都没有达到最理想的状态。
对象存储通过提供远程在线访问数据填补了市场空白,经过多年的发展,如今已经发展成为一种成熟的技术,是使用基于Web的协议来存储和检索数据。从本质上讲,大多数提供四个基元,即创建,读取,更新,删除。在很多情况下,Update只是一个Delete和Create操作,这意味着与对象存储进行交互相对简单,使用嵌入数据和关联元数据的HTTP发生基于REST的API调用。
不过这种简单的操作也突出了对象存储的一个问题:应有程序需要重写以使用对象存储API,不少供应商也确实提供了SDK来帮助完成这一过程,但需要更改应用程序。
其实对于对象存储的定义目前也没有太明确的说法,如果非要用一句话来概括的,可以理解为对象存储是支持海量用户远程访问的无限容量的存储系统。也正是因为对象存储独有的优势吸粉无数。其主要优势如下:
• 可扩展性:一直以来,可扩展性都是存储供应商吸引用户的关键点之一。起初许多对象存储解决方案的起始容量仅为百TB,这对于用户来说不太实用,不过随着技术的不断发展,现在供应商已经提高了可扩展性。
物联网、人工智能的持续火热,逐渐成为数据的主要创建者,并且分布广泛。目前市场上供应商提供的解决方案都是纯软件的,可以部署在专用硬件上,也可以作为内部部署或公有云中的虚拟实例部署。
• 软件定义:提供纯软件解决方案意味着企业可以为他们的环境选择合适的硬件。在硬件供应条约已经存在的情况下,企业可以简单的支付对象存储软件并部署在现有设备上。
• 试用版:前面已经提到,对象存储均是以软件形式部署,因此,几乎所有供应商都通过下载软件或使用公司的实验室环境提供某种试用流程及试用版本软件,以便于长期评估及采用。
众供应商纷纷涉足
强劲的市场需求自然吸引各大厂商争夺。在对象存储领域,亚马逊在前文也提到,起到了良好的推动作用,而且如今大部分在线存储服务商都在参考亚马逊的做法。其对象存储服务(Simple Storage Service, S3)主要提供一个易于使用的Web界面来对存储的数据进行查看、存储和检索。它用实际行动证明了对象存储技术是针对大型项目给出的一种极具可扩展能力的回应。
在对象存储业务上,IBM主要提供云端服务。云对象存储(COS)可以与云端集成,利用灵活的混合试工,让某款产品运行于用户本地或由Bluemix构成的私有云中。这种混合方式为客户提供了一个私有的内部部署选项,但却可以利用云端的资源。
华为在今年的华为中国区生态伙伴大会上发布了其基于DFV数据功能虚拟化平台的新一代对象存储服务0BS 3.0,拥有10万+节点的扩展能力,单桶千亿对象统一命名空间,轻松应对EB级容量需求,并且极致的性能与可靠性。
结语
近几年对象存储的发展是更注重易用性和安装。多协议连接更多的应用程序使数据更方便、更快捷的使用对象存储。相信在未来几年内,对象存储仍然是数据存储的重要平台之一。
好文章,需要你的鼓励
随着AI模型参数达到数十亿甚至万亿级别,工程团队面临内存约束和计算负担等共同挑战。新兴技术正在帮助解决这些问题:输入和数据压缩技术可将模型压缩50-60%;稀疏性方法通过关注重要区域节省资源;调整上下文窗口减少系统资源消耗;动态模型和强推理系统通过自学习优化性能;扩散模型通过噪声分析生成新结果;边缘计算将数据处理转移到网络端点设备。这些创新方案为构建更高效的AI架构提供了可行路径。
清华大学团队开发了CAMS智能框架,这是首个将城市知识大模型与智能体技术结合的人类移动模拟系统。该系统仅需用户基本信息就能在真实城市中生成逼真的日常轨迹,通过三个核心模块实现了个体行为模式提取、城市空间知识生成和轨迹优化。实验表明CAMS在多项指标上显著优于现有方法,为城市规划、交通管理等领域提供了强大工具。
Meta以143亿美元投资Scale AI,获得49%股份,这是该公司在AI竞赛中最重要的战略举措。该交易解决了Meta在AI发展中面临的核心挑战:获取高质量训练数据。Scale AI创始人王亚历山大将加入Meta领导新的超级智能研究实验室。此次投资使Meta获得了Scale AI在全球的数据标注服务,包括图像、文本和视频处理能力,同时限制了竞争对手的数据获取渠道。
MIT研究团队发现了一个颠覆性的AI训练方法:那些通常被丢弃的模糊、失真的"垃圾"图片,竟然能够训练出比传统方法更优秀的AI模型。他们开发的Ambient Diffusion Omni框架通过智能识别何时使用何种质量的数据,不仅在ImageNet等权威测试中创造新纪录,还为解决AI发展的数据瓶颈问题开辟了全新道路。