亚马逊SageMaker推出无服务器MLflow,加速AI开发
快速阅读: Amazon SageMaker AI与MLflow集成推出无服务器功能,简化AI实验流程,支持即时、按需服务,具备自动扩展能力,无需基础设施规划,提升团队开发效率。
自2024年6月我们宣布推出Amazon SageMaker AI与MLflow集成以来,客户一直在使用MLflow跟踪服务器来管理他们的机器学习(ML)和人工智能(AI)实验流程。在此基础上,我们不断改进MLflow体验,使实验更加便捷。今天,我很高兴地宣布,Amazon SageMaker AI与MLflow现在包含了无需基础设施管理的无服务器功能。这一新功能将实验跟踪转变为即时、按需的服务,具备自动扩展能力,消除了容量规划的需求。
无基础设施管理的转变从根本上改变了团队进行AI实验的方式——无需基础设施规划即可立即测试想法,支持更加迭代和探索性的开发流程。
开始使用Amazon SageMaker AI与MLflow
让我带您创建第一个无服务器MLflow实例。我进入Amazon SageMaker AI Studio控制台并选择MLflow应用程序。“MLflow Apps”一词取代了之前的“MLflow跟踪服务器”,反映了简化且以应用为中心的方法。在这里,我可以看到已经创建了一个默认的MLflow App。这种简化的MLflow体验使我更容易开始实验。
我选择“创建MLflow App”并输入名称。这里已经配置好了AWS身份和访问管理(IAM)角色和Amazon简单存储服务(Amazon S3)存储桶,如果需要修改,可以在“高级设置”中进行。首个重大改进在此显现——创建过程大约只需2分钟。这种即时可用性使得快速实验成为可能,无需等待基础设施规划,消除了过去实验工作流程中的中断时间。
创建后,我将获得一个用于从笔记本连接的MLflow Amazon资源名称(ARN)。简化的管理意味着无需决定服务器大小或进行容量规划。我不再需要在不同配置之间做出选择或管理基础设施容量,这样我可以专注于实验。您可以通过《Amazon SageMaker开发者指南》中的“将MLflow集成到您的环境中”了解如何使用MLflow SDK。
借助对MLflow 3.4的支持,我现在可以访问新的生成式AI开发功能。MLflow追踪记录详细的执行路径、输入、输出和元数据,贯穿整个开发生命周期,使分布式AI系统的调试更加高效。
这项新功能还通过AWS资源访问管理器(AWS RAM)共享引入了跨域和跨账户访问。这增强了协作,意味着不同AWS域和账户的团队可以安全地共享MLflow实例,打破了组织间的壁垒。
更好的结合:管道集成
Amazon SageMaker Pipelines与MLflow集成。SageMaker Pipelines是一种专为机器学习操作(MLOps)和大型语言模型操作(LLMOps)自动化设计的无服务器工作流编排服务,旨在部署、监控和管理生产环境中的ML和LLM模型。您可以轻松构建、执行和监控可重复的端到端AI工作流,无论是通过直观的拖放界面还是Python SDK。
从管道中,如果没有已存在的MLflow App,将自动创建一个默认的MLflow App。实验名称可以定义,指标、参数和工件将按照代码中定义的方式记录到MLflow App中。SageMaker AI与MLflow还集成了熟悉的SageMaker AI模型开发功能,如SageMaker AI JumpStart和模型注册表,实现从数据准备到模型微调的端到端工作流自动化。
注意事项
以下是一些关键点:
– **定价**:新的无服务器MLflow功能免费提供。请注意,有适用的服务限制。
– **可用性**:此功能在以下AWS区域可用:美国东部(北弗吉尼亚、俄亥俄)、美国西部(北加州、俄勒冈)、亚太地区(孟买、首尔、新加坡、悉尼、东京)、加拿大(中部)、欧洲(法兰克福、爱尔兰、伦敦、巴黎、斯德哥尔摩)、南美洲(圣保罗)。
– **自动升级**:MLflow就地版本升级自动进行,无需手动迁移工作或兼容性问题,即可访问最新功能。目前服务支持MLflow 3.4,提供最新的功能,包括增强的追踪功能。
– **迁移支持**:您可以使用开源的MLflow导出导入工具(mlflow-export-import),帮助从现有的跟踪服务器迁移到无服务器MLflow(MLflow Apps),无论这些跟踪服务器是来自SageMaker AI、自托管还是其他来源。
要开始使用无服务器MLflow,请访问Amazon SageMaker AI Studio。
创建你的首个MLflow应用程序。SageMaker Unified Studio还支持无服务器MLflow,以提供更多的工作流灵活性。
祝你实验愉快!
——Donnie
(以上内容均由Ai生成)