这家初创公司推出了无 GPU 的 Gen AI 平台,以实现 AI 采用的大众化
快速阅读: 《印度分析杂志》消息,生成式AI初创公司布德生态系统推出“布德运行环境”,可在CPU上部署AI模型,降低GPU依赖。该方案兼容多种硬件,支持异构集群并行推理,大幅削减成本,助力更多企业进入AI领域。
生成式人工智能研究初创公司**布德生态系统**推出了**布德运行环境**,这是一种开创性的解决方案,能够在基于CPU的基础设施上部署生成式人工智能,从而降低成本并提高可访问性。此举旨在应对生成式人工智能日益增长的财务和环境成本挑战。布德运行环境允许组织利用现有的硬件部署人工智能模型,绕开了昂贵且通常稀缺的GPU。
该平台同时支持与英伟达、英特尔、AMD和华为等领先供应商的GPU、HPU、TPU和NPU并行推理。其亮点功能——异构集群并行性——使企业在混合硬件环境中部署人工智能工作负载,实现更平滑的扩展性,并缓解GPU供应紧张的问题。“我们于2023年初开始探索生成式人工智能领域,很快便遇到了GPU成本高昂的问题,”布德生态系统首席执行官**V.G.吉森**表示。
为解决这一难题,团队开发了布德运行环境的初始版本,专为在现有基础设施上运行小型模型而设计。此外,它还支持在CPU上运行中型模型,并确保与来自英伟达、AMD、英特尔和华为等不同制造商的硬件兼容。借助布德运行环境,公司每月仅需花费200美元即可启动生成式人工智能计划,仅为传统成本的一小部分。这对那些经常被排除在人工智能领域之外的初创企业和研究机构尤其重要。
此次发布基于布德生态系统与英特尔、微软、印孚瑟斯和LTIM等主要科技公司的长期合作。在过去18个月里,该公司一直与英特尔合作优化生成式人工智能推理在英特尔至强CPU和Gaudi加速器上的性能。“我们的目标是通过使用通用硬件实现生成式人工智能的大规模普及,”布德生态系统首席战略官**林森·约瑟夫**表示,“只有这样,它才能真正实现。”
布德生态系统专注于基础人工智能研究,在低资源环境下针对转换器架构取得了重大进展,提出了混合推理方法,并构建了去中心化的人工智能系统。该公司发表了多篇研究论文并发布了超过20个开源模型。值得一提的是,它是唯一一家凭借与GPT-3.5性能相当的模型登上Hugging Face LLM领导者榜单的印度初创公司。
(以上内容均由Ai生成)