VAST Data开发了一款新的软件工具,用于发现、编目和捕获其他供应商存储和数据管理系统中的文件和对象数据,将其引入VAST的私有AI专用环境中。
VAST表示,SyncEngine是"一个通用数据目录和高性能数据载入解决方案"。它是一个所谓的通用路由器,为文件系统、对象存储以及SharePoint、Google Drive和Salesforce等SaaS应用程序提供实时、可搜索的目录。这使得PB到EB级数据集中数十亿甚至数万亿个文件和对象能够被即时发现。
联合创始人Jeff Denworth表示:"AI的未来属于那些能够利用所有数据的企业,而不仅仅是那些容易获取的数据。数据分散是企业AI战略的隐形杀手,SyncEngine终结了这个问题时代。"该公司声明:"SyncEngine消除了发现和调动分布式非结构化数据集和企业SaaS平台的摩擦,使组织能够简化其基础设施,更快地从原始数据转向现实世界的AI成果。"
显而易见,如果AI模型或智能体能够访问组织的尽可能多的数据,它们就能为用户请求提供更好的响应。理想情况下,需要有一个全方位的单一数据池,无论是虚拟的还是物理的。VAST希望它是物理的,并存储在其自己的分解式、共享一切的存储系统和软件环境中,现在称为VAST AI OS。这包括VAST的InsightEngine和DataEngine,用于支持AI管道。
该公司现在构建了自己的数据吸尘器,能够发现和摄取存储在竞争对手系统中的数据。它表示,大规模使用AI的最大制约因素"不仅仅是模型复杂性或GPU供应,而是数据本身——分散在过时的文件和对象系统中,被孤立在企业SaaS应用程序内部,对AI管道不可见。"
SyncEngine工具的发现和迁移功能替代了外部和独立的编目和迁移工具,例如来自Datadobi、Data Dynamics、Komprise和其他供应商的工具。发现的文件和对象被编目在VAST数据库中,可以在数百万亿级别进行搜索。它表示该目录具有多个命名空间和"深度元数据索引"。
编目的文件和对象可以迁移到VAST数据系统,并与源保持同步。包括双向数据流,意味着VAST系统可以向发现的源系统提供数据。迁移不需要外部提取、转换和加载(ETL)程序或自定义脚本。该功能是内置的,包括数据完整性验证和自动恢复。
VAST系统上的AI管道可以从这种迁移中获得数据供应,数据被分块和向量化用于RAG,并可用于智能体工作流,包括任何基于LangChain的应用程序。
VAST声称SyncEngine提供世界上最快的数据迁移服务,"从摄取到洞察提供破纪录的速度",但没有引用具体数字。它表示,通过横向扩展节点添加,具有无限制的摄取吞吐量,具有网络线速性能。
SyncEngine覆盖哪些目标系统?VAST提到了传统的POSIX和S3兼容源,以及Confluence、Microsoft SharePoint、Google Drive和Salesforce等企业应用程序。
它断言SyncEngine:"取代昂贵的独立工具和复杂的开源选项,通过集成智能大大简化数据编目和迁移。客户受益于统一堆栈,无需额外许可费用,降低复杂性、运营负担和总拥有成本。"
Denworth说:"传统IT创造了孤岛,我们正在拆除它们。无论您的数据是埋藏在本地系统中还是隐藏在SaaS应用程序中,SyncEngine都能使其全部可访问、可见和有价值。我们为客户提供了从数据现在所在位置到AI转型开始位置的直接路径,即在VAST AI操作系统内部。"
SyncEngine免费提供给VAST客户。
Q&A
Q1:VAST SyncEngine是什么工具?
A:VAST SyncEngine是一个通用数据目录和高性能数据载入解决方案,用于发现、编目和捕获其他供应商存储系统中的文件和对象数据,将其引入VAST的AI专用环境中。
Q2:SyncEngine能解决什么问题?
A:SyncEngine主要解决企业数据分散问题,能够发现分散在不同文件系统、对象存储和SaaS应用程序中的数据,使数十亿甚至数万亿个文件和对象能够被即时发现和利用。
Q3:SyncEngine支持哪些数据源?
A:SyncEngine支持传统的POSIX和S3兼容源,以及企业应用程序如Confluence、Microsoft SharePoint、Google Drive和Salesforce等SaaS平台。
好文章,需要你的鼓励
机器人AI软件开发商FieldAI宣布通过两轮融资筹集4.05亿美元,其中3.15亿美元由贝索斯探险基金、Prysm和淡马锡领投。该公司开发的软件平台可让机器人在建筑工地等复杂环境中导航,采用专有的场域基础模型技术。该软件无需地图、GPS或预定义路径即可运行,支持人形机器人、自动驾驶车辆等多种系统。目前已在数百个工业环境中部署,估值达20亿美元。
谷歌DeepMind开发的GenCast AI系统在天气预报领域实现重大突破,在97.2%的测试指标上超越传统数值预报系统。该系统基于扩散模型和四十年历史数据训练,能在8分钟内完成全球七天天气预报,比传统方法快数十倍。GenCast采用概率性预报方法,为决策者提供多种天气情景,在极端天气预测方面表现尤为出色,为农业、能源、交通等领域带来广阔应用前景。
Epic公司CEO朱迪·福克纳宣布推出"医疗智能"概念,在其电子病历系统中开发智能AI代理。该系统基于超过3亿患者记录的Cosmos数据集,包含四个核心AI代理:患者导航员Emmie、临床医生助手ART、诊疗决策支持Cosmos AI和管理优化器Penny。这些代理能够提供预测性健康监测、简化临床试验匹配、优化医疗流程。Epic与微软深度合作,利用Azure AI确保系统规模化和可靠性,旨在构建统一的智能医疗生态系统。
北京大学团队推出TransMLA技术,可将现有GQA架构语言模型直接转换为高效MLA架构,无需重新训练。该技术通过RoRoPE、FreqFold和BKV三项创新实现了最高10.6倍的推理速度提升,在93%内存压缩下仅需60亿词元微调即可恢复性能,为AI模型优化提供了经济实用的解决方案。