日前,IBM发布一系列软件定义存储产品,这些产品不仅提高了经济性,还使企业能够在全球任何地方存取和处理存储在任何设备上的任何类型的数据。其中一种称为“弹性存储”的技术提供空前的性能、无限的扩展并能够通过自动将数据移动到最经济的存储设备上使存储成本降低高达90%。
这项开创性的新技术诞生于IBM研究院,它让企业能够利用(而不只是管理)由无数设备、传感器、业务流程和社交网络所产生的各种形式的大量数据。新存储软件非常适用于非常高的数据密集型应用,此类应用需要高速存取大量信息,例如地震数据处理、风险管理和金融分析、气象建模和科学研究以及在实时零售中决定下一个最佳行动。
“在今天的商业世界,数据已经成为竞争优势的基础,然而数字信息的增长速度之快、数量之庞大,使传统的数据存储与管理已经无从应对。”IBM高级副总裁、系统与科技部总经理Tom Rosamilia指出,“我们为客户提供的创新存储技术,在速度、可扩展性和成本方面的前所未有的提升,将使客户更富有竞争优势。”
软件定义存储是一系列自动管理本地及全球数据的软件功能,它们提供突破性的数据存取速度、更简易的管理以及随着数据量的增加,更加快速、经济地扩展技术基础架构的能力。此外,这些提升还能与公司的任何存储系统共同提供自动和虚拟存储。
改变游戏规则的技术
IBM Watson系统采用了弹性存储技术。在《危险边缘》比赛中,IBM Watson使用了2亿页结构化和非结构化数据,包括维基百科全文。通过使用弹性存储,5TB的Watson“知识”(相当于2亿页数据)仅在几分钟中内就被装入该计算机的内存。
在《危险边缘》比赛中,Watson选择该软件的一个重要原因是可扩展性,扩展架构的极限可达数千YB。1YB(尧字节)等于10亿PB(拍字节),相当于规模为100万个城市街区的数据中心所存储的数据量,100万个街区相当于特拉华州和罗得岛州的面积之和。
IBM研究院已证明弹性存储能够在仅仅43分钟内利用单个系统成功扫描100亿个文件,这为通过分析海量数据来挖掘业务洞察的客户提供了无与伦比的性能。
在其核心部分,弹性存储以IBM 的GPFS为基础来提供在线存储管理、可扩展访问以及能够管理庞大数据量和数十亿文件的集成数据治理工具。例如,相对于标准 SAS 磁盘,弹性存储还可以利用内置于服务器中的 Flash 存储来实现六倍的性能提升。该功能可识别服务器内的 Flash 存储并自动用将其作为高速缓冲存储器来提升性能。
弹性存储将存储虚拟化,允许多个系统和应用共享公用存储池。这有助于实现透明的全球数据存取而无需修改应用,也无需额外的或经常的存储管理变更。由于弹性存储不依靠集中管理来确定文件位置和布局,所以在发生软件或硬件故障时客户能确保数据存取的连续性和高可用性。
对美国国家大气研究中心的计算和信息服务实验室 (CISL) 来说,不断增长的数据量就是其DNA的一部分。该机构的怀俄明与科罗拉多中心存储和管理着超过50PB信息,它依靠弹性存储技术来让研究人员能够快速存取大量多种多样的数据。
“我们向分布在200多个不同地点的1,000多位用户提供针对地球科学的计算、教育和研究数据服务”,CISL数据分析服务部经理Pamela Gillman表示,“IBM 全局文件系统软件支持对信息的可扩展、可靠和快速存取。这显著改善了各部门及整个机构的绩效。”
弹性存储的一个关键要素是其自动和智能地将数据移动到最具战略意义和最经济的可用存储系统上的能力。例如,通过策略驱动的特性和实时分析,弹性存储能够自动将不常使用的数据移动到不太昂贵的低成本磁带驱动机,而将经常存取的数据存储在高速Flash系统上,以便更快地存取。这些策略驱动的特性能够提供多达90%的成本节省。
此外,该软件还提供原生加密及安全擦除特性,这可以确保数据的安全保留,以便遵守《健康保险流通与责任法案》(HIPAA) 和《萨班斯-奥克斯利法案》(Sarbanes-Oxley)等法规。
通过支持OpenStack云管理软件,弹性存储还帮助客户能够跨越私有云、公共云和混合云进行数据存储、管理及访问,实现全球数据共享和协作。除了支持OpenStack Cinder和Swift存取,弹性存储还支持其他开放API,如POSIX和Hadoop。
对传统存储系统来说,交易型和分析型应用必须将数据移动到不同的存储区来获得最佳效果,但弹性存储能够通过自动平衡资源来同时支持不同应用工作负载,包括基于Hadoop的分析。这显著加快了分析速度,并消除了用于生成重复数据副本的高昂成本和耗时的过程。
弹性存储软件将在今年晚些时候作为IBM SoftLayer云服务推出。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。