红帽发布AI 3平台，简化企业级分布式推理与代理AI运营

快速阅读: 红帽发布红帽AI 3，集成AI推理服务器、RHEL AI和OpenShift AI，提供分布式推理、模型管理和协作环境，支持多硬件和模型，提升企业AI运营效率和成本效益。

红帽公司发布了红帽AI 3，这是其混合云原生AI平台的最新版本，旨在简化并扩展企业环境中的生产级AI推理。官方声明称，此次发布集成了红帽AI推理服务器、红帽企业Linux AI（RHEL AI）和红帽OpenShift AI的创新成果，标志着向大规模实现下一代代理AI运营迈出了重要一步。

随着企业将AI工作负载从实验推向生产，它们面临着数据隐私、基础设施成本和模型管理等方面的日益增长的挑战。红帽AI 3提供了一个统一、开放且可扩展的平台，支持任何硬件上的任意模型，从数据中心到主权AI环境和边缘部署。

该平台通过llm-d引入了先进的分布式推理能力，现已随红帽OpenShift AI 3全面可用。它提供了智能模型调度、分离服务和跨NVIDIA及AMD硬件加速器的跨平台灵活性，提升了企业规模LLM工作负载的性能和成本效率。红帽AI 3还引入了IT团队和AI团队之间协作的统一环境。

新的模型即服务（MaaS）功能使组织能够集中提供和管理内部使用的模型，提高成本控制和数据隐私。AI中心提供了精选的模型目录和生命周期管理工具，而Gen AI工作室则为AI工程师提供了交互式的工作空间，用于实验、原型制作和微调生成式AI应用程序，集成评估和监控。

平台包含多个优化的开源模型，如OpenAI的gpt-oss、DeepSeek-R1、Whisper和Voxtral Mini，帮助开发者加速聊天、语音和检索增强生成（RAG）应用程序的开发。除了推理外，红帽AI 3还为自主、任务导向的代理AI系统奠定了基础，代表了企业AI的发展方向。

新版本包括基于Llama Stack的统一API层，用于OpenAI兼容模型接口，以及早期采用模型上下文协议（MCP）以改善模型与外部工具之间的互操作性。一个新的模块化工具包扩展了红帽InstructLab的功能，为模型定制、数据摄取和微调提供了更大的灵活性，使用了Docling等开源库。

红帽AI业务部副总裁兼总经理Joe Fernandes表示，公司旨在帮助企业克服实现AI运营的复杂性和成本障碍。“通过引入像llm-d的分布式推理能力和代理AI的基础，我们正在使IT团队能够在任何基础设施上自信地实现下一代AI的运营。”他在声明中说道。

(以上内容均由Ai生成)