Pinecone推出高性能AI工作负载服务
快速阅读: Pinecone推出专用读取节点(DRN),优化突发性工作负载,支持亿级向量搜索和高QPS推荐系统,实现性能和成本可预测性,适用于RAG、搜索及推荐系统。
由于向量工作负载并非一概而论,许多应用程序(如RAG系统、代理、原型和定时任务)具有“突发性工作负载”,即大多数时间维持低流量,但偶尔会突然出现查询量激增的情况。Pinecone的按需向量数据库服务针对这种突发性需求进行了优化,承诺提供简便性和弹性。
公司表示,对于需要持续高吞吐量、大规模运行且对延迟敏感的应用程序(例如亿级向量规模的语义搜索任务、实时推荐流或具有严格SLO的用户界面助手),它们不仅需要关键性能,还需要在大规模下成本可预测且高效。为此,Pinecone推出了专用读取节点(DRN),旨在为这些工作负载提供预留容量,以实现性能和成本的可预测性。
从RAG到推荐
DRN与按需服务相结合,使Pinecone能够支持一系列生产环境中的不同需求,具备企业级性能。无论是RAG、搜索还是推荐系统等,现在都可以选择针对每个索引优化价格性能的服务。
用户可以扩展至最大工作负载,因为该技术专为亿级向量的语义搜索和高QPS推荐系统设计。专用读取节点是什么?
专用读取节点是一种部署选项,查询在隔离的、预配置的读取节点上运行(没有干扰邻居、没有共享队列、没有限制)。数据保持在内存和本地SSD中温暖,避免从对象存储中冷读取,从而在系统扩展时保持低延迟。
从开发者的角度来看,它只是一个普通的Pinecone索引:相同的API、相同的SDK、相同的代码。定价按每小时每节点计算,以实现成本的可预测性和重负荷下的强劲价格性能。
其工作原理
专用读取节点沿两个维度扩展:副本和分片。
副本增加吞吐量和可用性。通过增加副本可以处理更多QPS并提高弹性,几乎线性地扩展QPS。
分片扩展存储容量。随着索引的增长,增加分片以支持更多数据。
无需迁移。Pinecone在后台移动数据并扩展读取容量。
写入行为和限制与按需服务相同。
一位客户在其设计平台中使用DRN来实现实时媒体搜索,该平台支持元数据过滤。在1.35亿向量的情况下,他们在生产环境中实现了600 QPS,P50延迟为45毫秒,P99为96毫秒。同一客户通过扩展DRN节点进行负载测试,达到了2200 QPS,P50延迟为60毫秒,P99为99毫秒。
Pinecone建议团队在需要性能隔离、重载下可预测的低延迟、随数据和QPS增长的线性扩展以及大规模的成本可预测性时选择专用读取节点。
(以上内容均由Ai生成)