Pure Storage自2011年推出FlashArray以来已经走过了漫长的发展道路。公司扩展了全闪存存储产品组合,推出了FlashBlade、用于无干扰升级的Evergreen Storage,开发了Portworx和Pure Fusion等云原生解决方案用于混合云和多云环境,并引入了Pure1进行AI驱动的管理。公司于2015年成功上市。
Charles Giancarlo于2017年担任CEO,我们在采访的第一部分讨论了AIOPS、AI数据,并探讨了数据集管理概念。在第二部分中,我们将进一步探讨这个话题,并讨论现成SSD、软件栈和copilot等内容。
数据集管理的核心理念
当谈到数据集管理理念时,Giancarlo解释了数据管理与数据集管理之间的区别。他表示,目前讨论的数据管理通常指的是针对特定AI或分析引擎的特定数据存储进行管理。但他们没有管理的是数据集本身的生命周期。
"如果你试图管理其中的每个数据位,我认为现在会失败。但与此同时,如果你管理数据集,我们不一定知道每个数据集中的每一位数据,但如果我们能跟踪数据集本身,包括它们在哪里、数据集生命周期管理如何进行、它们应该保持多长时间活跃、何时应该被删除等问题。"
这种通用化的数据管理方法意味着数据可能驻留在其他人的设备上。虽然目前还没有达到这个程度,但随着时间推移可能会实现。
数据集生命周期管理的重要性
Giancarlo强调了数据集生命周期管理的重要性,不仅是为了避免在不需要的冗余副本上浪费存储空间,还涉及合规性问题。那些由已离职员工创建但无人记得的副本会成为"幽灵副本",这是一个合规问题。
"很多这些副本最终会成为勒索软件的一部分,因为它们被遗忘了,可能完全不为人知。所以它们不受持续安全措施的保护,比如密钥轮换。这就像一个等待开放的后门。"
因此需要生命周期管理:如果数据三个月没有被触及且无人拥有,就应该删除它。
FlashArray技术策略
在技术层面,FlashArray//ST(FAST)使用现成的SSD。当被问及是否可以重新组织Pure DFM并使其成为SLC时,Giancarlo确认这是可能的,速度会非常快。
使用现成SSD的原因是客户真正要求的是非常高的吞吐量。公司还构建了一些独特的电子设备来卸载许多在常规产品中由Intel处理器处理的服务,这也降低了延迟,提高了整体性能。这对公司来说是一种更简单的战术性方法。
软件栈发展方向
Pure和Vast都在其存储之上构建了非常全面和强大的软件栈。Giancarlo认为,Dell和HPE仍在做他所谓的"全栈"方案,这是一种垂直架构。
"虚拟化已经扁平化并使计算水平化,也使网络水平化。存储是唯一仍然服务于应用环境的东西,所以它是垂直的。我们说这也应该是水平的。现在,全栈是一个没有意义的硬件概念。你想要的是可以用软件创建的虚拟全栈,而不是任何物理全栈。"
Copilot的应用
关于Copilot术语的使用,Giancarlo澄清这不仅仅是微软的术语,现在每个人都在将copilot用作其管理或运营平台之上的AI层。之所以称为copilot,是因为大多数公司表示,他们还不想让AI完全自主运行,必须有人工干预。
公司保留使用不同大语言模型的权利,实际上在某些情况下会使用多个模型,因为它们各有其特色以及优点或缺点。
Q&A
Q1:Pure Storage的数据集管理与传统数据管理有什么区别?
A:传统数据管理通常指针对特定AI或分析引擎的特定数据存储进行管理,而数据集管理是跟踪数据集本身的生命周期,包括它们的位置、应该保持多长时间活跃、何时删除等。这种方法不需要了解每个数据集中的每一位数据,但能有效管理整个数据集的生命周期。
Q2:为什么FlashArray//ST要使用现成的SSD而不是自研芯片?
A:这是一个战术性决策。客户真正需要的是非常高的吞吐量,使用现成SSD能更快进入市场。同时公司构建了独特的电子设备来卸载服务处理,降低延迟提高性能。对于相对小众的专业化市场,使用现成技术比投入更多工程资源获得轻微优势更合理。
Q3:Pure Storage的Copilot是基于微软的技术吗?
A:不是的。虽然使用了Copilot这个术语,但Pure Storage保留使用不同大语言模型的权利,实际上会使用多个模型,因为它们各有特色和优缺点。Copilot代表管理或运营平台之上的AI层,强调需要人工干预,不让AI完全自主运行。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。