Baseten 获得 $75M 以为 AI 工作负载提供高性能推理

发布时间:2025年2月20日    来源:szf
Baseten 获得 $75M 以为 AI 工作负载提供高性能推理

快速阅读: 据《硅角度》最新报道,BaseTen Labs,一家专注于高性能推理的AI初创公司,宣布完成7500万美元C轮融资,总融资额达1.35亿美元。该公司提供AI推理平台,帮助企业在云端或本地基础设施上运行大型语言模型。BaseTen的平台可优化GPU资源利用,降低成本,提升性能。目前,BaseTen已拥有超过100家企业客户,包括Patreon和Descript等。该公司表示,客户在使用其服务后,推理成本平均降低约40%。

BaseTen Labs公司,一家专注于为大型语言模型及其他人工智能应用提供高性能推理的人工智能初创企业,今天宣布完成了由IVP和Spark Capital领投的7500万美元C轮融资。此轮融资还包括Greylock、Conviction、South Park Commons、01 Advisors和Lachy Groom的参与,使公司的总融资额达到了1.35亿美元。

BaseTen构建了一个用于企业运行大型语言模型(LLM)的AI推理平台,这些模型可以在云端或者其自身的本地基础设施上运行。为了实现AI应用的扩展,它们需要访问极其快速且可靠的推理,即查询模型并计算响应的过程。然而,对于很多组织而言,这是一个挑战,因为支持推理所需的高性能图形处理单元(GPU)通常难以获取。即使是资金最充裕的企业也可能难以获取这些资源,如果无法找到足够的资源,最终会导致性能不佳的应用程序,甚至偶尔出现停机。GPU短缺也意味着需要支付更高的成本。

BaseTen并不运营自己的数据中心,而是依赖于来自亚马逊网络服务(AWS)、谷歌云和微软等提供商的公共云基础设施。通过结合这些云平台的资源,该公司表示可以更好地访问GPU。此外,客户也可以在其自身的数据中心运行该公司的软件。

BaseTen的平台提供了启动高性能推理所需的一切。这包括一个庞大的专有和开源模型库、现代化的工具和工作流程,用于部署、管理和维护LLM的生产环境,以及多集群、多云基础设施,以满足跨区域和AI模型模式扩展的需求。它还提供访问应用研究的权限,使客户可以使用最新的技术和框架来提高其AI应用程序的性能和成本效益。此外,还有专门的AI工程师协助客户部署这些应用程序。

在接受CNBC采访时,BaseTen联合创始人兼首席执行官Tuhin Srivastava表示,公司提供的主要优势之一是能够保证对GPU资源的访问。他说,虽然很多公司确实部署了自己的AI模型,但大多数公司在正确的位置获取足够GPU方面都会遇到困难。此外,客户还会因最后一刻的警告而感到沮丧,这些警告表明他们正在使用的某些GPU将进入维护模式,这意味着它们会突然变得不可用。Srivastava表示,BaseTen有足够的资源避免此类中断。“在这个市场上,你的首要差异化因素是你能多快行动,”他声称,“这是对我们客户的核心益处。”

此外,BaseTen还可以为客户节省大量资金,声称平均客户在开始使用其服务后,推理成本下降约40%,同时还能获得更好的性能。这或许解释了该公司在过去12个月中收入增长超过六倍的原因,尽管它没有提供具体的销售数字。

另一方面,该公司声称拥有超过100家企业的客户名单,其中包括众筹平台Patreon、AI初创公司Writer和视频编辑公司Descript。Srivastava表示,他的客户更重视快速将高质量的AI产品推向市场,并选择BaseTen以确保这一点。“速度、可靠性及成本效益是不可或缺的,这是我们投入100%关注的地方,”他补充道。

Spark Capital普通合伙人Will Reed表示,如果AI产品尚未遇到推理问题,那是因为它尚未实现真正的规模。“每个成功的AI项目都需要卓越的推理性能,否则没有人愿意使用它,”他解释说。“如果你押注产品的未来或公司的未来在于这种性能,选择合适的合作伙伴至关重要。”

(以上内容均由Ai生成)

你可能还想读

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

快速阅读: 谷歌推出Pixel 10手机及Pixel Watch 4,新增卫星紧急通讯、可更换电池和屏幕、抬手通话等功能,屏幕亮度达3000尼特,还将与斯蒂芬·库里合作推出AI健康和健身教练服务。 谷歌本周在“由谷歌制造”活动中推出了Pix […]

发布时间:2025年8月23日
SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

快速阅读: 据《《韩国先驱报》》称,7月20日,SK海力士首登全球内存芯片市场榜首,受益于AI产品和HBM芯片领先地位。其季度利润达9.2万亿韩元,远超三星。 据韩联社报道,7月20日,韩国京畿道伊川,SK海力士首次登上全球内存芯片市场榜首 […]

发布时间:2025年8月1日
STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

快速阅读: 据《印度教业务线》称,STAN获850万美元融资,由万代南梦宫等机构投资。计划拓展印度市场,加强AI功能与创作者工具。平台用户超2500万,专注移动端社交游戏。 记者获悉,8月1日,社交游戏平台STAN宣布完成850万美元的新一 […]

发布时间:2025年8月1日
“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

快速阅读: 据《营销周》称,谷歌推出AI搜索模式,减少外部链接,提升对话式回答。品牌需调整策略,重视内容质量与品牌权威。此变化影响营销方式,竞争加剧。 据谷歌官方消息,7月29日,谷歌在英国推出了基于人工智能的搜索功能AI模式,此前该功能已 […]

发布时间:2025年8月1日
在 Android 上用更智能的应用程序替换 Google Assistant

在 Android 上用更智能的应用程序替换 Google Assistant

快速阅读: 据《电话竞技场》称,据报道,用户可从Google Play下载Meta AI应用,安装后需检查版本是否为230.0.0.36.164或更高。操作方法:进入设置,选择应用,查看Meta AI信息页底部的版本号。 据媒体报道,用户现 […]

发布时间:2025年8月1日
Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

快速阅读: 据《UKTN(英国科技新闻)》称,英国科技媒体UKTN报道,Xero英国总经理凯特·海沃德表示,会计行业无需过度担忧AI自动化。尽管四大事务所裁员,但Xero仍持续投资AI技术,提升效率与服务质量。 据英国科技新闻网站UKTN报 […]

发布时间:2025年8月1日
Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

快速阅读: 据《商业标准》称,Reddit CEO表示,公司正将平台转型为搜索引擎,整合AI功能,提升用户体验。Reddit Answers用户已超600万,计划全球推广。 据《The Verge》报道,7月11日,Reddit首席执行官史 […]

发布时间:2025年8月1日
Meta 超出预期,为“个人超级智能”做准备

Meta 超出预期,为“个人超级智能”做准备

快速阅读: 据《RCR无线》称,Meta二季度营收475.2亿美元,净利润183亿美元。CEO扎克伯格称将打造个人超级智能,但数据中心扩容遇挑战。公司计划2025年支出达1140-1180亿美元。 据媒体报道,7月25日,美国加州,社交媒体 […]

发布时间:2025年8月1日