铠侠 AiSAQ 以更低的 DRAM 成本改进 AI 推理

快速阅读: 据《福布斯》最新报道，Kioxia推出AiSAQ，将数据库向量移入SSD，提升RAG系统可扩展性与准确性，减少DRAM需求。

人工智能

今年4月，Kioxia的Rory Bolt向我介绍了Kioxia的AiSAQ，这是一个旨在推动SSD在RAG AI解决方案中广泛应用的开源项目。当前，人工智能的关注重点正在从依赖大量且昂贵的训练来生成基础模型，转向更加成本效益高且可扩展的方式，以构建能够解决现实问题的推理系统。

检索增强生成是一种将传统信息检索系统与大型语言模型相结合的AI方法。RAG通过让大型语言模型在生成回答前访问并整合来自外部知识源的信息（如数据库、网站和内部文档），从而提升大型语言模型的性能。这种方法有助于大型语言模型生成更准确、上下文相关且及时的信息，特别是在处理特定领域或实时数据时。

自2017年以来，Kioxia一直利用人工智能技术来提高其NAND晶圆厂的产出，主要采用机器视觉来监控趋势和缺陷率。2020年，Kioxia利用人工智能创作了世界上第一个由AI设计的漫画《菲多》，这部漫画基于大友克洋的作品进行绘制和故事创作。

据我所知，尽管大型数据中心使用硬盘驱动器为AI模型提供数据，但许多内部解决方案则使用SSD上的数据进行训练。这些解决方案通常基于非常庞大的数据集创建基础的大语言模型，并利用内部数据或可能更新的数据进行RAG，以调整基础模型用于特定应用并避免幻觉。下图展示了如何对原始大语言模型进行调优。

提升大语言模型推理能力
Kioxia

在此架构中，客户查询是通过大语言模型以及向量数据库中的特定领域和最新信息共同回答的。这种RAG解决方案可以将数据库索引和向量全部放在DRAM中，但这种方法会占用大量内存，导致成本高昂，尤其是在面对大规模数据库时。

微软开发的Disk ANN将大部分向量数据库内容转移到SSD上。这减少了数据库所需的DRAM占用空间，从而实现了向量数据库更大规模的扩展。该技术被应用于Azure Vector DB和Cosmos DB等产品中。

Kioxia的全存储ANNS结合产品量化技术，即AiSAQ，完成了将数据库向量移入存储的过程，进一步降低了对DRAM的需求。这三种方法在下图中有所体现。

以及基于SSD的RAG架构
Kioxia

Kioxia表示，这种方法使RAG工作流程更具可扩展性，从而提升了模型的准确性。下图显示了与基于DRAM和DiskANN的方法相比，大型数据库所需的DRAM显著减少，同时查询准确率得到了提升。

推理准确性
Kioxia

今年7月初，Kioxia宣布对其AiSAQ进行了进一步优化。新的开源版本允许系统架构师灵活控制，定义搜索性能与向量数量之间的平衡点，这两者在SSD存储的固定容量下是相互制约的因素。由此带来的好处使RAG系统的架构师能够根据特定的工作负载及其需求微调最佳平衡点，而无需任何硬件修改。

Kioxia的AiSAQ通过将数据库向量完全移入存储，使RAG AI推理系统更具可扩展性，从而避免随着数据库规模扩大而出现DRAM增长。

(以上内容均由Ai生成)