本周,Kioxia 将旨在减少生成式 AI 系统中 DRAM 需求的 AiSAQ 技术作为开源软件发布。
AiSAQ(全称为"基于乘积量化的全存储式 ANNS")提供了一种针对 SSD 优化的"近似最近邻搜索" (ANNS) 算法。Kioxia AiSAQ 软件无需将索引数据存储在 DRAM 中,而是直接在 SSD 上进行搜索,从而为检索增强生成 (RAG) 提供可扩展的性能。
生成式 AI 系统需要大量的计算、内存和存储资源。Kioxia 表示:"虽然这些系统有潜力在各个行业推动变革性突破,但其部署通常成本高昂。" RAG 是 AI 的关键阶段,它通过公司或应用程序特定的数据来完善大语言模型 (LLM)。
RAG 的核心组件是一个向量数据库,它将特定数据累积并转换为用于检索的特征向量。RAG 还使用 ANNS 算法,该算法基于累积向量和目标向量之间的相似性来识别可改进模型的向量。Kioxia 表示:"为了使 RAG 有效,它必须能够快速检索与查询最相关的信息。"
传统上,ANNS 算法部署在 DRAM 中以实现这些搜索所需的高速性能。但 Kioxia 表示,AiSAQ 技术为十亿级数据集提供了一个"可扩展且高效"的 ANNS 解决方案,具有"可忽略的"内存使用量和"快速"的索引切换能力。
AiSAQ 的主要优势包括允许大规模数据库在不依赖有限 DRAM 资源的情况下运行,从而提高 RAG 系统的性能。它还消除了将索引数据加载到 DRAM 的需求,使向量数据库能够立即启动。这支持在同一服务器上在用户特定或应用程序特定的数据库之间切换,以实现高效的 RAG 服务交付。
它通过将索引存储在分布式存储中以实现多服务器共享,从而针对云系统进行了优化。这种方法可以针对特定用户或应用程序调整向量数据库搜索性能,并有助于在物理服务器之间迁移搜索实例。
Kioxia 欧洲首席技术官兼副总裁 Axel Stoermann 表示:"我们的 AiSAQ 解决方案为基于闪存 SSD 的生成式 AI 系统中的 RAG 应用提供了几乎无限的扩展可能。通过使用基于 SSD 的 ANNS,我们减少了对昂贵 DRAM 的依赖,同时满足了领先内存解决方案的性能需求,显著提升了大规模 RAG 应用的性能范围。"
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。