使用 PowerScale 的新 RAG 连接器改进 RAG 数据摄取

快速阅读: 据《Dell Technologies》称，戴尔推出开源PowerScale RAG连接器，可智能识别和处理文件，减轻AI计算负载，加速数据处理。客户可集成LangChain或NVIDIA AI Enterprise软件，提升RAG应用效率。连接器已在GitHub上线。

此博客文章由戴尔科技集团副总裁兼院士高拉夫·查瓦（高拉夫·查瓦）联合撰写。在GTC 2025上，戴尔推出了一个开源的针对戴尔PowerScale的RAG应用程序专用连接器，这将帮助客户释放其AI计算集群中的CPU和GPU资源，减轻网络和存储I/O负载，并大幅加速数据处理时间。

戴尔客户可以将PowerScale RAG连接器与LangChain等RAG框架集成，或与NVIDIA AI Enterprise软件结合，进一步利用NVIDIA NIM微服务优化数据处理。这些功能使客户能够使用戴尔AI数据平台扩展代理型AI部署，并与戴尔AI数据平台中的软硬件服务集成。让我们看看这个连接器解决的问题、它是如何工作的，以及开发人员如何在其RAG应用中使用它。

**为什么这很重要？**

如今，当开发人员使用他们喜欢的RAG框架来摄取数据并构建RAG应用时，他们面临一个挑战——如何让RAG应用始终与数据集的最新变化保持同步？通常，开发人员会设置一个数据处理管道，在固定的时间间隔内从存储系统（如PowerScale，这是戴尔AI工厂的一个关键存储基础设施选项）中摄取源数据。该管道创建并更新RAG应用使用的块和嵌入。创建块和嵌入是计算密集型任务，需要消耗CPU和GPU资源。当RAG应用需要摄取数百万份文档和TB级数据时，会对计算、网络和存储系统造成巨大负载，尤其是在相同的文档多次出现的情况下。

PowerScale RAG连接器通过减少需处理的数据量显著提升了性能。该连接器能够智能识别已处理文件，并更关键地判断哪些文件需要处理。最好的一点是，该连接器与LangChain等RAG框架、通用Python类以及NVIDIA NeMo检索器和NIM微服务集成。

**它是如何工作的？**

利用PowerScale最新版本软件，管理员可以使用MetadataIQ新功能，其中文件系统元数据定期保存到外部Elasticsearch数据库中。PowerScale RAG连接器利用数据库中的信息跟踪已处理文件，从而改善RAG应用中的数据摄取和处理。

图1：使用NVIDIA AI Enterprise软件与PowerScale RAG连接器时，典型客户的RAG应用系统设计。

图2：典型客户的RAG应用系统设计。紫色部分是PowerScale RAG连接器，允许跳过已处理的文件。

在这两个图表中：开发人员将使用戴尔开源基于Python的RAG连接器从PowerScale摄取数据。连接器将与跟踪新增、修改及更新文件的元数据数据库通信。一旦完成数据库操作，RAG连接器将仅返回新和修改文件的结果给RAG框架，跳过未改动的文件。新和修改的文件将通过RAG应用正常处理。这些文件可以使用标准方法或通过利用NVIDIA NeMo检索器进行分块和嵌入。能快速且精准地从海量数据中提取洞察，利用NeMo检索器集合的NIM微服务实现提取、嵌入和重排序。结果，RAG应用只处理新和修改的文件，从而为其他计算任务释放CPU、GPU和网络资源。

当使用戴尔RAG PowerScale连接器配合NVIDIA AI Enterprise软件（例如NeMo检索器）时，客户将保留戴尔连接器的优势，并利用NVIDIA最佳的RAG能力。

**开始使用**

开发人员可以通过以下方式立即访问PowerScale RAG连接器：

访问我们的GitHub主页：[https://github.com/dell/powerscale-rag-connector](https://github.com/dell/powerscale-rag-connector)

(以上内容均由Ai生成)