AWS EKS突破限制，支持10万节点AIML集群
快速阅读: AWS宣布Amazon EKS支持高达10万个节点的集群，比之前提升10倍，支持160万个AWS Trainium芯片或80万个NVIDIA GPU，提高AI和机器学习工作负载效率，降低计算成本。
亚马逊网络服务（AWS）宣布，在容器编排领域取得重大进展，其亚马逊弹性Kubernetes服务（Amazon EKS）现在支持高达10万个节点的集群，这一数字是之前限制的10倍。此次升级为人工智能和机器学习工作负载提供了前所未有的规模，单个Kubernetes集群可支持多达160万个AWS Trainium芯片或80万个NVIDIA GPU。
最先进的AI模型，拥有数万亿个参数，在上下文理解、推理和解决复杂任务方面表现出显著的优势。然而，开发和管理这些强大的模型需要大量的计算加速器。如果将这些任务分配到多个集群，可能会因容量碎片化或重新映射延迟导致效率下降，因此单一大规模集群对于实现最佳性能至关重要。
在单个集群中运行这些任务有几个关键优势。首先，通过共享容量池提高利用率，从而降低计算成本，这些容量池可用于运行从大型预训练到微调实验和批量推理的各种异构作业。其次，与管理多个分散的集群相比，集中化的调度、发现和修复等操作更为简单。
为了实现10万个节点的集群能力，AWS在架构上进行了多项创新，保持了Kubernetes的完全一致性。其中最重要的是对Kubernetes核心数据存储etcd的彻底改革。亚马逊EKS将etcd的共识后端从基于Raft的实现转变为AWS内部构建的Journal日志系统，后者提供了超快且有序的数据复制，具备多可用区的持久性。
此外，AWS将etcd的后端数据库完全迁移到内存存储tmpfs中，从而大幅提升了读/写吞吐量、延迟的可预测性和维护操作的速度。支持的最大数据库大小增加至20GB，同时在故障期间保持较低的平均恢复时间。
工程团队对API服务器和关键Webhook进行了深入调优，优化了请求超时、重试策略、工作并行性和节流规则等配置。Kubernetes v1.31引入了从缓存中读取的强一致性功能，将大部分读取流量从etcd卸载到API服务器，使得服务器端CPU使用率降低了30%，列表请求速度提高了三倍。
在集群范围内的控制器也得到了显著改进，以减少锁竞争并支持事件的批处理。即使在10K节点规模下，Kubernetes调度器也能通过定制调度器插件和优化节点过滤/评分参数，持续提供高达500个pods/秒的吞吐量。
对于需要高带宽的加速工作负载，AWS配置了带有前缀模式的Amazon VPC CNI进行地址管理，允许在单个VPC中进行流线型网络操作，同时将节点启动速率提高至三倍。此外，他们启用了额外网络接口卡上的pod ENIs，增强了pod的网络带宽容量（超过100GB/s）和数据包速率性能。
容器镜像管理方面，通过可寻址OCI（SOCI）快速拉取技术，使得大型AI/ML容器镜像（通常超过5GB）能够同时下载和解包。结合并行解包能力，测试显示，与默认设置相比，整体镜像下载和解包时间减少了高达两倍。
AWS进行了广泛的测试，模拟了现实世界中的超大规模AI/ML场景。测试包括在所有100K节点上运行的大规模预训练作业、10个并行微调作业（每个作业使用10K节点），以及结合微调和推理任务的混合模式工作负载。测试结果显示，Karpenter可以在50分钟内启动100K个Amazon EC2实例，每分钟有2000个节点准备就绪加入集群。在尊重节点中断预算的前提下，更新所有节点到新AMI集群的操作大约需要4小时。
测试期间的性能指标令人印象深刻：集群包含超过1000万个Kubernetes对象，包括100K个节点和900K个pods，跨分区的聚合etcd数据库大小达到32GB。在所有测试场景中，API延迟始终保持在Kubernetes SLO目标之内。
这一进步尤其有利于从事前沿AI研究和大规模机器学习操作的组织。除了直接使用Amazon EKS的客户，这些改进还惠及了其他AI/ML服务，如Amazon SageMaker HyperPod，提高了AWS的整体超大规模计算能力。
此次公告使AWS在Kubernetes集群规模上显著领先于主要的云竞争对手。谷歌Kubernetes引擎（GKE）目前支持每个标准集群最多15,000个节点，若需更高限制，则需特殊批准和特定配置，例如具有私有服务连接的区域集群。微软Azure Kubernetes服务（AKS）支持每个集群最多5,000个节点，接近上限时可联系支持人员以提高限制。
AWS的10万个节点的能力比GKE的标准限制高出6.7倍，比AKS的最大限制高出20倍，为需要大规模AI/ML基础设施的组织提供了显著的竞争优势。考虑到竞争对手的更高限制通常伴随着额外的限制或需要特殊批准流程，而AWS的超大规模集群作为标准产品推出，完全符合Kubernetes标准，这种差距更加突出。
(以上内容均由Ai生成)
