铠侠 AiSAQ 以更低的 DRAM 成本改进 AI 推理

发布时间:2025年7月8日    来源:szf
铠侠 AiSAQ 以更低的 DRAM 成本改进 AI 推理

快速阅读: 据《福布斯》最新报道,Kioxia推出AiSAQ,将数据库向量移入SSD,提升RAG系统可扩展性与准确性,减少DRAM需求。

人工智能

今年4月,Kioxia的Rory Bolt向我介绍了Kioxia的AiSAQ,这是一个旨在推动SSD在RAG AI解决方案中广泛应用的开源项目。当前,人工智能的关注重点正在从依赖大量且昂贵的训练来生成基础模型,转向更加成本效益高且可扩展的方式,以构建能够解决现实问题的推理系统。

检索增强生成是一种将传统信息检索系统与大型语言模型相结合的AI方法。RAG通过让大型语言模型在生成回答前访问并整合来自外部知识源的信息(如数据库、网站和内部文档),从而提升大型语言模型的性能。这种方法有助于大型语言模型生成更准确、上下文相关且及时的信息,特别是在处理特定领域或实时数据时。

自2017年以来,Kioxia一直利用人工智能技术来提高其NAND晶圆厂的产出,主要采用机器视觉来监控趋势和缺陷率。2020年,Kioxia利用人工智能创作了世界上第一个由AI设计的漫画《菲多》,这部漫画基于大友克洋的作品进行绘制和故事创作。

据我所知,尽管大型数据中心使用硬盘驱动器为AI模型提供数据,但许多内部解决方案则使用SSD上的数据进行训练。这些解决方案通常基于非常庞大的数据集创建基础的大语言模型,并利用内部数据或可能更新的数据进行RAG,以调整基础模型用于特定应用并避免幻觉。下图展示了如何对原始大语言模型进行调优。

提升大语言模型推理能力
Kioxia

在此架构中,客户查询是通过大语言模型以及向量数据库中的特定领域和最新信息共同回答的。这种RAG解决方案可以将数据库索引和向量全部放在DRAM中,但这种方法会占用大量内存,导致成本高昂,尤其是在面对大规模数据库时。

微软开发的Disk ANN将大部分向量数据库内容转移到SSD上。这减少了数据库所需的DRAM占用空间,从而实现了向量数据库更大规模的扩展。该技术被应用于Azure Vector DB和Cosmos DB等产品中。

Kioxia的全存储ANNS结合产品量化技术,即AiSAQ,完成了将数据库向量移入存储的过程,进一步降低了对DRAM的需求。这三种方法在下图中有所体现。

以及基于SSD的RAG架构
Kioxia

Kioxia表示,这种方法使RAG工作流程更具可扩展性,从而提升了模型的准确性。下图显示了与基于DRAM和DiskANN的方法相比,大型数据库所需的DRAM显著减少,同时查询准确率得到了提升。

推理准确性
Kioxia

今年7月初,Kioxia宣布对其AiSAQ进行了进一步优化。新的开源版本允许系统架构师灵活控制,定义搜索性能与向量数量之间的平衡点,这两者在SSD存储的固定容量下是相互制约的因素。由此带来的好处使RAG系统的架构师能够根据特定的工作负载及其需求微调最佳平衡点,而无需任何硬件修改。

Kioxia的AiSAQ通过将数据库向量完全移入存储,使RAG AI推理系统更具可扩展性,从而避免随着数据库规模扩大而出现DRAM增长。

(以上内容均由Ai生成)

你可能还想读

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

快速阅读: 谷歌推出Pixel 10手机及Pixel Watch 4,新增卫星紧急通讯、可更换电池和屏幕、抬手通话等功能,屏幕亮度达3000尼特,还将与斯蒂芬·库里合作推出AI健康和健身教练服务。 谷歌本周在“由谷歌制造”活动中推出了Pix […]

发布时间:2025年8月23日
SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

快速阅读: 据《《韩国先驱报》》称,7月20日,SK海力士首登全球内存芯片市场榜首,受益于AI产品和HBM芯片领先地位。其季度利润达9.2万亿韩元,远超三星。 据韩联社报道,7月20日,韩国京畿道伊川,SK海力士首次登上全球内存芯片市场榜首 […]

发布时间:2025年8月1日
STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

快速阅读: 据《印度教业务线》称,STAN获850万美元融资,由万代南梦宫等机构投资。计划拓展印度市场,加强AI功能与创作者工具。平台用户超2500万,专注移动端社交游戏。 记者获悉,8月1日,社交游戏平台STAN宣布完成850万美元的新一 […]

发布时间:2025年8月1日
“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

快速阅读: 据《营销周》称,谷歌推出AI搜索模式,减少外部链接,提升对话式回答。品牌需调整策略,重视内容质量与品牌权威。此变化影响营销方式,竞争加剧。 据谷歌官方消息,7月29日,谷歌在英国推出了基于人工智能的搜索功能AI模式,此前该功能已 […]

发布时间:2025年8月1日
在 Android 上用更智能的应用程序替换 Google Assistant

在 Android 上用更智能的应用程序替换 Google Assistant

快速阅读: 据《电话竞技场》称,据报道,用户可从Google Play下载Meta AI应用,安装后需检查版本是否为230.0.0.36.164或更高。操作方法:进入设置,选择应用,查看Meta AI信息页底部的版本号。 据媒体报道,用户现 […]

发布时间:2025年8月1日
Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

快速阅读: 据《UKTN(英国科技新闻)》称,英国科技媒体UKTN报道,Xero英国总经理凯特·海沃德表示,会计行业无需过度担忧AI自动化。尽管四大事务所裁员,但Xero仍持续投资AI技术,提升效率与服务质量。 据英国科技新闻网站UKTN报 […]

发布时间:2025年8月1日
Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

快速阅读: 据《商业标准》称,Reddit CEO表示,公司正将平台转型为搜索引擎,整合AI功能,提升用户体验。Reddit Answers用户已超600万,计划全球推广。 据《The Verge》报道,7月11日,Reddit首席执行官史 […]

发布时间:2025年8月1日
Meta 超出预期,为“个人超级智能”做准备

Meta 超出预期,为“个人超级智能”做准备

快速阅读: 据《RCR无线》称,Meta二季度营收475.2亿美元,净利润183亿美元。CEO扎克伯格称将打造个人超级智能,但数据中心扩容遇挑战。公司计划2025年支出达1140-1180亿美元。 据媒体报道,7月25日,美国加州,社交媒体 […]

发布时间:2025年8月1日