2016年成立于纽约的VAST Data公司,日前宣布推出通用存储平台 (Universal Storage Platform),并表示公司已将数十千兆字节(GB)的存储出售给信息技术公司以及生物和医疗技术公司。VAST Data已获得8000万美元融资,公司的目标是希望帮助用户在最初归档应用程序时,无需再在多层级存储(特别是硬盘驱动器)环境和全固态解决方案两者中做出权衡取舍。令人非常感兴趣的是,VAST Data的通用存储平台 (Universal Storage Platform) 也是首个应用了3D XPoint存储技术的平台之一,并将存储系统的成本较传统企业闪存降低了80%。
VAST的通用存储平台在其存储前端使用英特尔傲腾(3D XPoint) NVMe SSD,可实现每秒万亿字节(TB/s)的写入速度和每秒数百万次的读写速度 (IOPs),并提供每单元四比特 (QLC)的3D NAND,进行艾字节规模的文件系统(NFS)和对象(S3)存储。VAST Data表示,使用NVMe QLC闪存和NVMe over Fabric (NVMe-oF) 不仅可以显著提高性能,还能将存储系统的成本降至可以媲美硬盘成本的水平。他们的目标是通过这种方法消除所有闪存、NAS和云对象以及文档存储,并将其集成到VAST的通用存储平台之上。
VAST存储系统组件(图片来自VAST产品展示)
该公司表示,他们在客户端网络中提供了一个跨文件和对象的全局命名空间,通过数据中心规模转换的NVMe以太网结构访问3D XPoint内存(存储级内存,下图中简称SCM)。SCM缓存层下面的QLC闪存结合有趣的软件管理功能,则可以优化性能和存储利用率。除了全局命名空间之外,他们还提供数据保护和全局压缩。
采用傲腾写缓冲器的VAST全局命名空间QLC闪存(图片来自VAST产品展示)
VAST宣称,“服务器在 VAST架构中是松散耦合的,因为不需要相互协调输入和输出,它们的数量几乎可扩展到无穷大。它们也不受任何集群式串扰的阻碍,那些串扰通常会给无共享(Shared-nothing)架构带来挑战。此外,VAST服务器可以像集装箱一样嵌入到应用服务器中,为每台主机提供NVMe over Fabrics (NVMeoF) 架构的性能。”
该公司可通过减少闪存上的写入来使用QLC闪存固态硬盘,特别是通过缓冲傲腾内存的写入,来实现写入放大,并使用应用感知数据放置在闪存上实现顺序写入。他们还尽可能将写入与擦除操作结合起来,写入完整的QLC擦除块。
VAST Data公司的数据存储模型基于几种有趣的方法来减少所需的容量包括自描述数据结构,发现并利用数据相似性模式在“全局命名空间中”进行数据压缩和重复数据删除,“其所拆分的数据细粒度比当前重复数据删除技术要小4000到128000倍。” VAST Data还宣称其重建速度比硬盘要快若干倍。他们还预测了将数据放置于闪存中的数据使用情况。使用本地可解码压缩算法在1毫秒内即可完成读取操作。
VAST展示了一种全局命名空间存储系统,该系统利用基于傲腾的缓冲器和数据管理功能来管理QLC闪存系统的损耗,该闪存系统的耐久性及保修期为10年。如今,诸如傲腾这样的新兴持久性内存正在对存储架构产生巨大影响。
好文章,需要你的鼓励
随着数字化时代的到来,网络安全威胁呈指数级增长。勒索软件、AI驱动的网络攻击和物联网设备漏洞成为主要威胁。企业需要建立全面的风险管理策略,包括风险评估、安全措施实施和持续监控。新兴技术如人工智能、区块链和量子计算为网络安全带来新机遇。组织应重视员工培训、供应链安全、数据治理和事件响应能力建设。
滑铁卢大学研究团队开发出ScholarCopilot,一个革命性的AI学术写作助手。该系统突破传统"先检索后生成"模式,实现写作过程中的动态文献检索和精确引用。基于50万篇arXiv论文训练,引用准确率达40.1%,大幅超越现有方法。在人类专家评估中,引用质量获100%好评,整体表现优于ChatGPT。这项创新为AI辅助学术写作开辟新道路。
AWS Amazon Bedrock负责人Atul Deo正致力于让人工智能软件变得更便宜和更智能。他在12月re:Invent大会前只有六个月时间来证明这一目标的可行性。Deo表示AI领域发展速度前所未有,模型每几周就会改进,但客户只有在经济效益合理时才会部署。为此,AWS推出了提示缓存、智能路由、批处理模式等功能来降低推理成本,同时开发能执行多步骤任务的自主代理软件,将AI应用从聊天机器人转向实际业务流程自动化。
哥伦比亚大学研究团队发布NodeRAG技术,通过异构图结构革新智能问答系统。该方法将文档信息分解为7种节点类型,采用双重搜索机制,在多个权威测试中准确率达89.5%,检索效率提升50%以上,为智能信息检索技术带来重大突破。