SambaNova 首次推出低成本、开源深度研究代理框架

快速阅读: 据《硅角度》最新报道，人工智能芯片创业公司桑巴瓦纳系统今日宣布开发了一种新框架，支持“深度研究”的AI，比现有系统快三倍且成本更低。该框架使用桑巴瓦纳的人工智能加速器而非英伟达GPU，能安全分析私密数据。此外，桑巴瓦纳称其开源模型降低了费用，为企业节省大量成本。

人工智能芯片创业公司桑巴瓦纳系统公司今日宣布，已开发出一种新的框架，用于支持“深度研究”的人工智能。这种框架比现有专注于研究的系统快三倍，并且成本更低。该公司在一篇博客文章中表示，它与人工智能代理开发商克鲁人工智能公司合作创建了这个新框架，使公司能够开发能在完全安全方式下分析其最私密数据的深度研究代理。当然，这些研究代理不会依赖于英伟达的图形处理单元，而是使用桑巴瓦纳的替代人工智能加速器，该公司称这些加速器提供了更多动力并且成本更低。

桑巴瓦纳获得了超过10亿美元的风险投资，是英伟达的竞争对手，开发适用于人工智能模型的训练和推理的高性能计算机芯片。这些芯片可通过云端访问，也可通过公司提供的设备进行本地部署。公司可以选择在桑巴瓦纳云上运行深度研究，该公司称这将比任何基于GPU的代理快三倍。或者，如果他们拥有桑巴瓦纳的一些强大的SN40L处理器，他们可在内部完成所有工作。这些代理是使用开源大型语言模型构建的，如Meta平台公司的Llama 3.3 70B或深寻有限公司的R1，这进一步有助于降低成本。

桑巴瓦纳解释说，现有的基于人工智能的深度研究解决方案非常昂贵，因为它们需要的传统聊天应用所需的令牌数量的十倍甚至百倍。此外，公司表示，这样的工具并不总是像其创造者宣称的那样快速。人工智能代理路由桑巴瓦纳深度研究框架的关键组成部分之一是其自主路由器，它可以规划并路由请求到最有能力的代理，以返回最准确的结果。默认情况下，该框架包含三个代理——一个通用搜索代理、一个深度研究代理和一个财务分析师，但公司可自由添加自己的人工智能代理并与自己的私人数据源连接。

该公司举了一个金融交易员希望生成关于最新市场趋势的报告的例子。首先，该交易员可能会输入查询，例如“总结亚马逊最新的市场新闻”。这将首先发送给通用代理，该代理可能会使用大约三个搜索查询找到所有最新的新闻，成本约为1000个令牌。一旦交易员获得基本信息，他们可能想深入挖掘并要求生成“亚马逊的财务分析”。在这种情况下，查询将被路由到财务分析师代理，该代理将进行更深入的研究。它提供了更多细节，因此可能使用大约15个提示来挖掘所有所需的信息，使用的令牌数量增加到约20倍。基于这一更深入的分析，交易员可能希望生成一份更全面的报告，总结并引用来自各种文章的发现。在这种情况下，深度研究代理开始发挥作用，从数百个来源收集信息以生成最终报告，然后清理并提交给交易员。桑巴瓦纳表示，这可能需要高达50,000个令牌。该公司强调，每个步骤都将是“闪电般迅速”，在几秒钟内完成，而不是类似基于人工智能的研究系统可能需要的几分钟。此外，由于用户仍在循环中，他们可确保令牌不会浪费在不准确的报告上。

开源模型降低费用

这是因为研究过程中使用了大量的令牌，费用是用户的主要担忧。这就是为什么桑巴瓦纳只依赖开源大型语言模型的原因，该公司指出这些开源模型比专有替代方案更实惠。该公司表示，其节省的成本可以迅速累积。例如，对于一家拥有200名员工的公司，每位员工每天执行20次平均使用20,000个令牌的深度研究查询，这意味着每天总共会有8000万个令牌。桑巴瓦纳表示，通过在桑巴瓦纳上使用Llama 3.3，而不是运行OpenAI的GPT-4，这样的公司在一年内可以节省超过100万美元。

桑巴瓦纳的深度研究框架的演示可供公司试用，而希望将其与其自身数据集成的企业可以从克隆GitHub仓库开始。

图片：桑巴瓦纳

约翰·弗瑞尔（John Furrier），硅巷联合创始人的一条消息：

您的支持对我们非常重要，它帮助我们保持内容免费。只需点击一下即可支持我们提供免费、深入和相关的内容的使命。加入我们的YouTube社区

加入包括亚马逊首席执行官安迪·贾西、戴尔科技创始人兼首席执行官迈克尔·戴尔、英特尔首席执行官帕特·格尔辛格等在内的超过15,000名#CubeAlumni专家的社区。

“立方体是业界的重要合作伙伴。你们真的是我们活动的一部分，我们真的很感谢你们的到来，我知道人们也很欣赏你们创造的内容。”

——安迪·贾西

(以上内容均由Ai生成)