一个新的、大规模分析与存储的时代正在我们面前徐徐展现身姿。Ocient、Imply、VAST Data及WEKA这四家初创公司,都在以几秒之内存储并访问数百PB、也就是数万亿行数据为核心卖点。但他们所宣传的这种大规模并行访问技术,从本质上讲走的是不涉及任何硬件的纯软件性能增长路线。
话虽如此,但必须强调一点:VAST Data和Ocient的产品都以NVMe SSD为基本组件,WEKA也在部署中使用到了固态存储设备。
好在这类超高速访问需求在结构化和非结构化数据场景中还不算普遍,目前主要集中在少数几个市场——金融交易(VAST和WEKA以此见长)、在线媒体广告展示技术(Ocient的主要业务所在)、高性能计算(WEKA)以及AI/ML模型训练。
VAST公司联合创始人Jeff Denworth认为,AI/ML技术的应用终将扩展到常规商业市场。大多数企业都需要把内部生产日志跟外部客户交互结合起来,从数据中查找模式、分析原因并做出最优内外部运营决策。这种最优决策既体现在业务流程的各个细节当中,也将有助于增强企业的整体盈利能力。
当前,ML模型已经被实际应用于设备健康扫描、投资交易决策、工厂生产运营、物流交付路径、产品推荐、流程改进与员工效率等场景。根据Denworth的介绍,ML模型的复杂性每年大约翻一番,而且目前的经验基本仍是模型体量越大、训练和后续推理效果越好。
Pure正在进军规模更大的数据集市场,高端阵列供应商Infinidat则已经在这一领域有所布局。
很明显,这些存储厂商都打算响应这波从PB级到EB级的需求转变,并认定这波浪潮一定会影响到本地及公有云等广泛环境。VAST是一家着眼于本地设施的存储厂商,但未来肯定也会以某种方式跟云设施建立联系。Ocient和WEKA则同时在本地和云端发力。Imply关注的是纯软件,天然具备上云优势。Infinidat同样暂时集中在本地业务。
这种对EB级存储需求的认同和布局,也让他们同主流存储厂商形成了显著差异。在Denworth看来,要想真正参与竞争,老牌大厂首先得克服传统架构带来的种种劣势。
Ocient刚刚推出了其超大规模数据仓库产品。此次亮相的是v19.0版本,而且旧版本在过去一年中已经成功得到部分企业客户的大规模应用。Ocient公司还提到,该产品专门负责给结构化与半结构化数据集,提供性价比极高的复杂与连续分析支持。在这套数据仓库的协助下,客户能够完成以往无法完成的工作负载,并把结果的返回时间由以往的几小时甚至几天、缩短到如今的几分钟甚至是几秒。
Ocient还提到,这款软件采用计算相邻存储架构(CASA),也就是将存储与计算资源彼此相邻地放置在行业标准的NVMe固态驱动器上。这不仅将随机读取IOPS成功拉升至每秒数亿次,同时能够支持对多种复杂数据类型同时执行加载、转换、存储、分析等大规模并发处理。整个数据路径都针对需求做出了性能优化。
例如,这套数据仓库提供对接NVMe SSD的高吞吐量自定义接口,并提供高并发读取与高队列深度等用于充分发挥硬件性能的设计。其中还包含一个无锁、大规模并发SQL成本优化器,能够确保每项查询计划都能在服务类别之内高效执行,且不会影响到其他工作负载或用户体验。
Ocient超大规模数据仓库目前主要以三种方式交付:OcientCloud内的全托管服务,客户自有数据中心的本地解决方案,以及Google Cloud Marketplace中的商业产品。
VAST Data即将推出一款重要软件。Denworth表示,VAST已经在硬件阵列、无状态控制器和单层QLC闪存存储方面做出不少探索,接下来的工作重点将转向软件领域。
面对重重压力,老牌厂商当然需要做出回应、顶住后起之秀们拿出的新兴技术。单靠全闪存加单层设计当然不够,主流存储商还得调整自身软件家族。这可能意味着投入数年时间,从头开始开发新的软件解决方案。考虑到时间成本,大厂们很可能会直接采购这类技术成果。届时,也许存储领域也会掀起一波类似于英伟达那样的并购浪潮,借他人之力保持自身在AI/ML时代下的市场地位。
总而言之,除非戴尔、IBM、HPE、NetApp、Qumulo以及各大对象存储厂商用实际行动证明,他们也能在规模、性能、弹性和成本等指标上正面抗衡那些初创厂商,否则他们必然会在百PB、万亿行级别的结构化/非结构化数据集时代下逐渐边缘化。至少Imply、Ocient、VAST和WEKA都对自己充满信心,也期待着“彼可取而代之”的那天。
好文章,需要你的鼓励
UniR(Universal Reasoner)是一种创新的推理增强方法,可为冻结的大语言模型提供即插即用的推理能力。由韩国科学技术院研究团队开发,该方法将推理能力分解为独立的轻量级模块,无需改变主模型结构。UniR的核心优势在于高效训练(仅更新小型推理模块)、出色的模型间迁移能力(小模型可指导大模型)以及模块组合能力(多个专用模块可通过logits相加组合使用)。在数学推理和翻译测试中,UniR显著超越现有微调方法,展示了轻量级模块如何有效增强大语言模型的推理能力。
Nebius团队开发了SWE-rebench,一个自动化管道用于从GitHub收集软件工程任务并进行去污染评估。该系统解决了两大挑战:高质量训练数据稀缺和评估基准容易被污染。通过四阶段处理(初步收集、自动安装配置、执行验证和质量评估),SWE-rebench构建了包含超过21,000个Python交互式任务的数据集,并提供持续更新的评估基准。研究发现部分语言模型在传统基准上的表现可能被污染效应夸大,而DeepSeek模型在开源模型中表现最为稳健。
这项研究提出了JQL(发音为"Jackal"),一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题:先由人类评估内容教育价值创建基准数据,然后评估大型语言模型作为"评判者"的能力,接着将这些能力提炼到轻量级评估器中,最后应用于大规模数据筛选。实验表明,JQL在35种语言上显著优于现有方法,甚至能泛化到未见过的语言如阿拉伯语和中文,为多语言AI发展提供了高效可靠的数据筛选方案。
浙江大学和西湖大学研究团队开发的Styl3R实现了艺术风格化3D重建的重大突破,能在不到一秒内从少量未标定照片和任意风格图像创建具有多视角一致性的3D艺术场景。通过创新的双分支网络架构将结构建模与外观着色分离,系统不仅保持了原始场景结构,还准确捕捉了参考风格特征。与现有方法相比,Styl3R在处理速度和视觉质量上均显著领先,为创意内容制作开辟了全新可能。