vLLM-Omni开源，多模态推理一键完成

快速阅读: vLLM团队发布首个“全模态”推理框架vLLM-Omni，支持文本、图像、音频、视频的统一生成，采用解耦流水线架构，性能提升显著，开源代码已上线GitHub。

vLLM团队发布了首个“全模态”推理框架vLLM-Omni，将文本、图像、音频、视频的统一生成从概念验证变为实际可用的代码。新框架已在GitHub和ReadTheDocs上线，开发者可以立即通过pip安装并调用。

该框架采用了解耦流水线架构，其中模态编码器如ViT、Whisper等负责将视觉和语音信息转化为中间特征；LLM核心部分继续使用vLLM的自回归引擎，负责思考、规划及对话功能；模态生成器则利用DiT、Stable Diffusion等扩散模型进行解码输出，支持图像、音频和视频的同时生成。框架将这三个组件视为独立的微服务，可以在不同的GPU或节点之间调度，实现资源的按需弹性伸缩。例如，在图像生成需求高峰期，可以横向扩展DiT；而在文本推理需求较低时，则可以收缩LLM，最高可提升40%的显存利用率。

在性能与兼容性方面，vLLM-Omni提供了Python装饰器@omni_pipeline，只需三行代码即可将原有的单模态模型组装成多模态应用。官方基准测试表明，在8个A100集群上运行10亿参数的“文本+图像”模型时，与传统的串行方案相比，新框架的吞吐量提高了2.1倍，端到端的延迟降低了35%。

开源与未来规划方面，vLLM-Omni的GitHub仓库已提供了完整的示例和Docker Compose脚本，支持PyTorch2.4+和CUDA12.2。团队透露，预计在2026年第一季度，框架将增加视频DiT和语音Codec模型，并计划提供Kubernetes CRD，以简化企业在私有云中的部署过程。

行业专家认为，vLLM-Omni通过将异构模型整合到同一数据流中，有助于降低多模态应用的落地门槛。然而，不同硬件之间的负载均衡和缓存一致性仍然是生产环境中需要克服的挑战。随着框架的不断成熟，AI初创公司能够以更低的成本构建“文本-图像-视频”统一平台，无需分别维护多个推理链路。

项目地址：https://github.com/vllm-project/vllm-omni

(以上内容均由Ai生成)