Kioxia 开源 AiSAQ 技术以减少 RAG 中的 DRAM 使用量

本周，Kioxia 将旨在减少生成式 AI 系统中 DRAM 需求的 AiSAQ 技术作为开源软件发布。

AiSAQ（全称为"基于乘积量化的全存储式 ANNS"）提供了一种针对 SSD 优化的"近似最近邻搜索" (ANNS) 算法。Kioxia AiSAQ 软件无需将索引数据存储在 DRAM 中，而是直接在 SSD 上进行搜索，从而为检索增强生成 (RAG) 提供可扩展的性能。

生成式 AI 系统需要大量的计算、内存和存储资源。Kioxia 表示："虽然这些系统有潜力在各个行业推动变革性突破，但其部署通常成本高昂。" RAG 是 AI 的关键阶段，它通过公司或应用程序特定的数据来完善大语言模型 (LLM)。

RAG 的核心组件是一个向量数据库，它将特定数据累积并转换为用于检索的特征向量。RAG 还使用 ANNS 算法，该算法基于累积向量和目标向量之间的相似性来识别可改进模型的向量。Kioxia 表示："为了使 RAG 有效，它必须能够快速检索与查询最相关的信息。"

传统上，ANNS 算法部署在 DRAM 中以实现这些搜索所需的高速性能。但 Kioxia 表示，AiSAQ 技术为十亿级数据集提供了一个"可扩展且高效"的 ANNS 解决方案，具有"可忽略的"内存使用量和"快速"的索引切换能力。

AiSAQ 的主要优势包括允许大规模数据库在不依赖有限 DRAM 资源的情况下运行，从而提高 RAG 系统的性能。它还消除了将索引数据加载到 DRAM 的需求，使向量数据库能够立即启动。这支持在同一服务器上在用户特定或应用程序特定的数据库之间切换，以实现高效的 RAG 服务交付。

它通过将索引存储在分布式存储中以实现多服务器共享，从而针对云系统进行了优化。这种方法可以针对特定用户或应用程序调整向量数据库搜索性能，并有助于在物理服务器之间迁移搜索实例。

Kioxia 欧洲首席技术官兼副总裁 Axel Stoermann 表示："我们的 AiSAQ 解决方案为基于闪存 SSD 的生成式 AI 系统中的 RAG 应用提供了几乎无限的扩展可能。通过使用基于 SSD 的 ANNS，我们减少了对昂贵 DRAM 的依赖，同时满足了领先内存解决方案的性能需求，显著提升了大规模 RAG 应用的性能范围。"