阿里云发布Aegaeon:GPU资源利用率提升82%
快速阅读: 论文《Aegaeon》指出,Hugging Face列出超百万AI模型,但客户常用仅少数。阿里云需17.7% GPU资源处理1.35%客户请求,凸显资源分配挑战。
论文《Aegaeon:市场上的并发LLM服务的有效GPU池化》[PDF]指出,模型市场Hugging Face列出了超过一百万个AI模型,尽管客户主要运行的只有少数几个。阿里巴巴云虽然提供了许多模型,但发现需要将其GPU资源的17.7%用于处理仅占1.35%的客户请求。
(以上内容均由Ai生成)