DeepSeek-R1：本地部署的预算挑战
快速阅读: 《计算机周刊》消息，IT领导者需权衡通过云访问大型语言模型（LLM）的网络安全风险，或采用本地开源LLM。深探公司的R1模型可在现有硬件上运行，但需大量投资。使用高性能GPU成本高昂，但较低性能的GPU和CPU设置也能实现，成本约6,000美元。此外，桑巴诺娃公司提出通过定制芯片和多级内存方案降低硬件需求，以更低成本运行AI模型。
迄今为止，IT领导者们需要考虑允许用户通过云直接访问大型语言模型（LLM）如ChatGPT所带来的网络安全风险。另一种选择是使用可以本地托管或通过私有云访问的开源LLM。人工智能（AI）模型需要在内存中运行，并且当使用图形处理单元（GPU）进行AI加速时，这意味着IT领导者需要考虑购买GPU的成本，以构建足够的内存来容纳整个模型。英伟达高端AI加速GPU H100配备了80GB的RAM，其规格显示功耗为350瓦。中国深探公司已经证明，其R1 LLM可以在不依赖最新GPU硬件的情况下媲美美国的人工智能。然而，它确实受益于基于GPU的AI加速。不过，部署深探的私有版本仍需大量硬件投入。要运行内存中有6710亿参数的整个深探-R1模型，需要768GB的内存。使用配置了80GB显存卡的英伟达H100 GPU，需要10个才能确保整个深探-R1模型能够在内存中运行。IT领导者可能能够协商批量折扣，但仅用于运行深探的AI加速硬件成本就约为25万美元。可以使用性能较低的GPU，这可能会帮助减少这一数字。但是鉴于当前GPU的价格，一台能够运行完整6700亿参数深探-R1模型的服务器将超过10万美元。
新雷尔公司扩展对深探的可观测性：可观测性工具供应商现在提供了增强的监控功能，以帮助企业在生成式AI开发中降低成本和风险。欢迎来到美国人工智能的“斯普特尼克时刻”：尽管美国拥有强大的经济实力，但苏联的斯普特尼克是第一颗卫星。是否由于新的中国LLM即将发生类似的事情？服务器可以在公共云基础设施上运行。例如，Azure提供具有900GB内存的英伟达H100 GPU，每小时费用为27.167美元，理论上完全可以运行完整的6710亿参数深探-R1模型。如果这个模型每天工作日都使用，并假设每周工作35小时，每年有四周的假期和停机时间，那么每年的Azure账单将接近46,000美元。同样，如果有三年的承诺，这个数字可以显著减少到每年16.63美元（23,000美元）。性能较低的GPU显然会便宜一些，但内存成本使其变得昂贵。例如，根据当前谷歌云定价，英伟达T4 GPU每小时价格为0.35美元，最多可提供四个GPU，总共64GB内存，每小时1.40美元，而需要12个才能完全在内存中容纳深探-R1的6710亿参数模型，每小时计算下来为16.80美元。如果有三年承诺，这个数字会降到每小时7.68美元，即每年不到13,000美元。
一种更便宜的方法IT领导者可以通过完全避免昂贵的GPU并完全依赖通用中央处理器（CPU）来进一步降低成本。这种设置仅适用于深探-R1仅用于AI推理时。最近，来自Hugging Face的机器学习工程师马修·卡里根发布了一条推文，建议可以使用两个AMD Epyc服务器处理器和768GB快速内存构建这样的系统。他展示的系统大约花费6,000美元。针对该设置的评论，卡里根表示他能够实现每秒处理六到八个令牌的速度，具体取决于安装的处理器和内存速度。这也取决于自然语言查询的长度，但他发布的推文中包含了一个视频，展示了基于双AMD Epyc设置和768GB内存所构建的硬件上的实时查询深探-R1。卡里根承认GPU在速度上会胜出，但它们很昂贵。在他的系列推文中，他指出已安装的内存数量直接影响性能。这是因为深探通过“记住”之前的查询来更快地获取答案。这种方法被称为键值（KV）缓存。“在测试较长上下文时，KV缓存实际上比我想象的要大。”他说，并建议硬件配置需要1TB内存而不是76GB，当大量文本或上下文被粘贴到深探-R1查询提示时。购买类似戴尔、HPE或联想的预建服务器来执行类似任务可能会更贵，具体取决于指定的处理器和内存配置。
降低内存成本的另一种方法降低内存成本的一种方法是使用由定制芯片控制的多级内存。这就是加州初创公司桑巴诺娃利用其SN40L可重构数据流单元（RDU）和专有数据流架构实现的三级内存方案。降低内存成本的另一种方法“深探-R1是目前最前沿的先进AI模型之一，但由于GPU效率低下，其全部潜力受限。”桑巴诺娃首席执行官罗德里戈·梁说。该公司由一群前Sun/Oracle工程师于2017年创立，并与斯坦福大学电气工程系持续合作，声称RDU芯片将运行深探-R1所需的硬件要求从40个机架减少到一个机架，配置了16个RDU。本月早些时候，在利雅得举行的Leap 2025会议上，桑巴诺娃签署了一项协议，推出沙特阿拉伯首个主权LLM即服务云平台。沙特电信公司数字解决方案副总裁萨乌德·阿尔谢拉希表示：“与桑巴诺娃的合作标志着我们在为沙特企业提供主权AI能力方面的一个重要里程碑。”
与沙特阿拉伯电信提供商的这项交易说明了政府在建设主权AI能力时需要考虑所有选项。深探展示了除了部署巨大且昂贵的GPU阵列之外，还有其他同样有效的替代方法。尽管在存在GPU加速AI硬件的情况下运行效果更好，但桑巴诺娃声称还有一种替代方法可以在本地内存中运行像深探-R1这样的模型，无需购置配备所需内存的GPU。
(以上内容均由Ai生成)
