大规模推理：Cisco 和 Red Hat 使用 llm-d 加强

快速阅读: 《硅角度》消息，红帽与思科深化AI合作，通过LLM-D项目强化生成式AI推理的可扩展性。思科依赖红帽开源工具支持企业AI开发，强调其对企业方案的重要性。

红帽与思科在人工智能时代深化合作，通过红帽发布的LLM-D项目可见一斑。LLM-D社区旨在规模化处理生成式AI推理。思科与红帽携手该项目，借助红帽开源工具拓展AI开发支持。这是2025年红帽峰会上展示的TheCUBE内容。

“你实际上是在利用开源生态系统的强大潜力以及众多贡献者的智慧，但需要对其进行加固并为企业提供支持，因此红帽扮演着关键角色，并长期如此，”思科生态系统解决方案高级总监托德·布兰农表示。“随着时间推移，他们已融入我们所有的解决方案中。最初从网络开始，接着是计算，再到安全领域。他们对我们所有方案都至关重要。”

思科技术营销总监克里斯·奥布莱恩与硅巷媒体TheCUBE直播室主持人丽贝卡·奈特及TheCUBE研究部罗伯·斯特雷查伊在红帽峰会上对话，讨论了LLM-D项目及其他AI相关合作。

通过LLM-D等手段规模化开展AI

随着思科致力于构建大型企业IT基础设施，红帽的开源解决方案套件成为一大助力。尤其是LLM-D项目，据布兰农称，它通过将先进虚拟大型语言模型推理能力整合进现有企业IT架构，实现了更高效且可扩展的推理。

“推理是所有AI工作的交付点，”他说。“现代应用由微服务构成，因此横向扩展至关重要。这就是LLM-D所做之事。它帮助我们在多个节点间分布这些功能……这是红帽引领的重要能力之一，以助我们企业客户扩展。”

人工智能模型的兴起促使一些公司寻求更多的本地解决方案或构建自己的私有人工智能云以提高安全性。作为对此趋势的回应，思科收购了云原生网络和安全公司Isovalent, Inc.。奥布莱恩强调，目的是给予客户他们想要的东西。

“对我们来说，思科，直截了当地说，我们希望让客户去他们想去的地方，”他说。“无论是OpenShift虚拟化还是继续使用Broadcom，我们都想为网络和计算带来一致的方法。”

以下是完整的视频采访，是硅巷与TheCUBE关于红帽峰会报道的一部分：

（*披露：思科系统公司赞助了TheCUBE这部分内容。思科及其他赞助商对TheCUBE或硅巷内容无编辑控制权。）

照片来源：硅巷

硅巷联合创始人约翰·弗瑞尔

信息：您的支持对我们意义重大，助我们维持内容免费。一次点击即支持我们提供免费、深入且相关内容的使命。

加入我们的YouTube社区

加入包含超过15,000名#Cube校友专家的社区，其中包括亚马逊CEO安迪·贾西、戴尔科技创始人兼CEO迈克尔·戴尔、英特尔CEO帕特·格尔辛格等众多知名人士与专家。

“theCUBE是行业重要伙伴。你们确实在我们活动中，我们非常感激你们参与，我知道人们也欣赏你们创造的内容。”——安迪·贾西

谢谢！

(以上内容均由Ai生成)