Nvidia 解决图形处理单元占用问题

发布时间:2025年4月2日    来源:szf
Nvidia 解决图形处理单元占用问题

快速阅读: 据《计算机周刊》称,英伟达开源其KAI调度器,助力AI工作负载在GPU和CPU间的高效分配。该工具支持多样化的AI任务,通过动态资源分配和公平性机制减少等待时间,提升集群效率,并与多种框架无缝集成,为AI发展提供新动力。

英伟达已将其**KAI调度器**(基于Kubernetes的GPU调度工具)作为开源软件发布,遵循**Apache 2.0许可证**。作为英伟达**Run:ai平台**的一部分,KAI调度器旨在管理人工智能工作负载在GPU和CPU上的分配。据英伟达介绍,KAI调度器能够灵活应对GPU需求的波动,减少计算访问的等待时间,同时提供资源保障或GPU分配。

KAI调度器的GitHub仓库提到,该工具支持整个AI生命周期,从小型交互任务到对资源需求极低的任务,再到大规模训练和推理任务,这些任务都可以在同一集群中完成。英伟达表示,这一特性能够确保在不同应用需要访问GPU时实现最优资源分配,同时保持资源的公平性。对于Kubernetes集群管理员来说,KAI调度器能够动态分配GPU资源给具体任务,并且可以与安装在Kubernetes集群上的其他调度器协同运行。

“你可能只需要一个GPU来进行交互式工作,例如数据探索,而随后可能需要多个GPU用于分布式训练或者执行多个实验。”英伟达软件系统副总裁**Ronen Dar**和数据科学家**Ekin Karabulut**在文中写道,“传统调度器很难适应这种变化。”他们补充道,KAI调度器会持续重新计算公平份额值,并实时调整配额和限制,自动匹配当前的工作负载需求。这种方法能够高效分配GPU资源,而无需管理员频繁手动干预。

此外,对于机器学习工程师而言,KAI调度器通过引入“群体调度”、GPU共享以及分层队列系统,使用户能够提交作业批次,从而显著减少等待时间。文中提到,作业将在资源可用时立即启动,并与优先级和公平性保持一致。

为了优化GPU和CPU资源的波动需求,英伟达采用了被称为“打包与整合”的技术。Ronen Dar和Ekin Karabulut表示,这种方法通过对抗资源碎片化来最大化计算资源利用率,并通过将小任务打包到部分使用的GPU和CPU上来实现这一目标。此外,它还能通过在节点之间重新分配任务来解决节点碎片化的问题。

KAI调度器还采用了一种名为“分散调度”的技术,将工作负载分散到不同的节点或GPU与CPU之间,以降低单个节点的负载,提高每个任务的资源可用性。英伟达表示,KAI调度器通过实施资源保障解决了共享集群中的资源浪费问题。“这种方法避免了资源的独占性,提升了整个集群的效率。”Ronen Dar和Ekin Karabulut补充道。

另外,KAI调度器具备内置的Pod分组功能,能够自动检测并与工具和框架(如Kubeflow、Ray、Argo和Training Operator)无缝连接,从而简化配置复杂度并加速开发流程。

通过这些创新技术,KAI调度器为GPU和CPU资源的高效利用提供了新的可能性,也为未来的AI发展奠定了坚实基础。

(以上内容均由Ai生成)

你可能还想读

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

本周科技大事件:谷歌发布Pixel 10,Gamescom揭晓重磅游戏

快速阅读: 谷歌推出Pixel 10手机及Pixel Watch 4,新增卫星紧急通讯、可更换电池和屏幕、抬手通话等功能,屏幕亮度达3000尼特,还将与斯蒂芬·库里合作推出AI健康和健身教练服务。 谷歌本周在“由谷歌制造”活动中推出了Pix […]

发布时间:2025年8月23日
SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

SK海力士凭借HBM激增首次超越三星,领跑全球内存市场

快速阅读: 据《《韩国先驱报》》称,7月20日,SK海力士首登全球内存芯片市场榜首,受益于AI产品和HBM芯片领先地位。其季度利润达9.2万亿韩元,远超三星。 据韩联社报道,7月20日,韩国京畿道伊川,SK海力士首次登上全球内存芯片市场榜首 […]

发布时间:2025年8月1日
STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

STAN 从谷歌、万代南梦宫和其他公司筹集了 850 万美元

快速阅读: 据《印度教业务线》称,STAN获850万美元融资,由万代南梦宫等机构投资。计划拓展印度市场,加强AI功能与创作者工具。平台用户超2500万,专注移动端社交游戏。 记者获悉,8月1日,社交游戏平台STAN宣布完成850万美元的新一 […]

发布时间:2025年8月1日
“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

“这改变了一切”:谷歌的人工智能模式迫使品牌重新考虑搜索策略

快速阅读: 据《营销周》称,谷歌推出AI搜索模式,减少外部链接,提升对话式回答。品牌需调整策略,重视内容质量与品牌权威。此变化影响营销方式,竞争加剧。 据谷歌官方消息,7月29日,谷歌在英国推出了基于人工智能的搜索功能AI模式,此前该功能已 […]

发布时间:2025年8月1日
在 Android 上用更智能的应用程序替换 Google Assistant

在 Android 上用更智能的应用程序替换 Google Assistant

快速阅读: 据《电话竞技场》称,据报道,用户可从Google Play下载Meta AI应用,安装后需检查版本是否为230.0.0.36.164或更高。操作方法:进入设置,选择应用,查看Meta AI信息页底部的版本号。 据媒体报道,用户现 […]

发布时间:2025年8月1日
Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

Xero 的英国董事总经理回击人工智能正在抢走会计工作的说法

快速阅读: 据《UKTN(英国科技新闻)》称,英国科技媒体UKTN报道,Xero英国总经理凯特·海沃德表示,会计行业无需过度担忧AI自动化。尽管四大事务所裁员,但Xero仍持续投资AI技术,提升效率与服务质量。 据英国科技新闻网站UKTN报 […]

发布时间:2025年8月1日
Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

Reddit 计划在搜索引擎市场大力推动人工智能与谷歌竞争:报告

快速阅读: 据《商业标准》称,Reddit CEO表示,公司正将平台转型为搜索引擎,整合AI功能,提升用户体验。Reddit Answers用户已超600万,计划全球推广。 据《The Verge》报道,7月11日,Reddit首席执行官史 […]

发布时间:2025年8月1日
Meta 超出预期,为“个人超级智能”做准备

Meta 超出预期,为“个人超级智能”做准备

快速阅读: 据《RCR无线》称,Meta二季度营收475.2亿美元,净利润183亿美元。CEO扎克伯格称将打造个人超级智能,但数据中心扩容遇挑战。公司计划2025年支出达1140-1180亿美元。 据媒体报道,7月25日,美国加州,社交媒体 […]

发布时间:2025年8月1日