Akamai 通过 Cloud Inference 发布扩展 AI 功能
快速阅读: 《快速模式》消息，阿卡迈推出云推断服务，通过分布式平台加速AI应用，降低延迟并节约成本。该服务集计算、数据管理、容器化及边缘计算于一体，适用于多种AI场景，助力企业优化业务成果。
阿卡迈（Akamai）推出云推断服务**阿卡迈云推断（Akamai Cloud Inference）**，以一种更快、更高效的方式助力组织将预测模型和大型语言模型（LLMs）转化为实际应用。该服务运行在阿卡迈云平台上，该平台是全球分布最广泛的平台之一，旨在克服集中式云模型日益增长的局限性。阿卡迈的新解决方案为平台工程师和开发人员提供了工具，使他们能够靠近终端用户构建和运行AI应用程序及数据密集型工作负载，从而实现吞吐量提升三倍，同时将延迟降低多达两倍半。相较于传统超大规模基础设施，企业在此平台上可节省高达86%的AI推理和代理AI工作负载成本。
### **阿卡迈云推断的主要构成**
– **计算：**
阿卡迈云提供从经典CPU到GPU的强大加速计算选项，以及定制的ASIC VPUs，以满足各类AI推理挑战的需求。阿卡迈与英伟达（NVIDIA）的AI企业生态系统深度集成，通过优化NVIDIA GPU上的AI推理性能，包括Triton、TAO工具包、TensorRT和NVFlare。
– **数据管理：**
阿卡迈通过专为现代AI工作负载打造的高级数据网格，帮助客户充分释放AI推理的潜力。与VAST Data合作，阿卡迈提供实时数据访问，加速推理相关任务，这是提供相关结果和响应体验的关键。此外，还配备高度可扩展的对象存储，用于管理AI应用所需的大量且多样化的数据集，并与领先向量数据库供应商（如Aiven和Milvus）集成，启用检索增强生成（RAG）。阿卡迈安全地存储微调模型数据和训练工件，确保在全球范围内交付低延迟的AI推理。
– **容器化：**
容器化AI工作负载能够根据需求自动扩展，提高应用程序的弹性，并实现混合/多云的可移植性，同时优化性能和成本。借助Kubernetes，阿卡迈在PB级性能上提供更快、更便宜、更安全的AI推理。基于Linode Kubernetes Engine（LKE）企业版——阿卡迈云Kubernetes编排平台的一个新企业版本，专门针对大规模企业工作负载设计，并结合Akamai App Platform，快速部署开源Kubernetes项目（包括KServe、Kubeflow和SpinKube）的AI就绪平台，简化AI模型的推理部署过程。
– **边缘计算：**
为简化开发人员构建AI驱动应用程序的方式，阿卡迈云推断包括WebAssembly（Wasm）功能。与Fermyon等Wasm提供商合作，阿卡迈使开发人员可以直接从无服务器应用程序执行LLM的推理，允许客户在边缘执行轻量级代码以支持对延迟敏感的应用程序。这些工具共同创造了强大的平台，用于低延迟、AI驱动的应用程序，使公司能够提供用户所需的经验。
### **阿卡迈云推断的优势**
阿卡迈云推断运行在其大规模分布式的平台上，能够持续为数据密集型工作负载每秒交付超过一拍字节的吞吐量。阿卡迈云由超过130个国家和地区超过1200个网络中的4200多个存在点组成，使计算资源从云端延伸至边缘，同时加速应用程序性能并提高可扩展性。
随着AI采用的成熟，企业逐渐意识到LLMs的炒作分散了注意力，使人们忽视了更适合解决特定业务问题的实用AI解决方案。轻量级AI模型——旨在解决特定业务问题——可以根据具体行业进行优化，利用专有数据创造可衡量的结果，并为企业提供更好的投资回报。AI推理需要更分布式的云，越来越多的数据将在集中式数据中心或云区域之外生成。这种转变推动了利用数据生成点附近数据的AI解决方案的需求。
### **阿卡迈云推断的实际应用**
在阿卡迈云上的早期客户示例包括车载语音助手、AI驱动的作物管理系统、消费者产品市场的产品图像优化、虚拟试衣购物体验、自动化产品描述生成器和客户反馈情感分析工具。阿卡迈云技术集团首席运营官兼总经理亚当·卡隆（Adam Karon）表示：“让AI数据更贴近用户和设备是一项艰巨的任务，这也是传统云服务的短板。虽然LLMs的训练将继续在大型超大规模数据中心进行，但推理的行动性工作将在边缘进行，而阿卡迈过去二十多年间构建的平台对于AI的未来至关重要，并使我们与其他市场上的云服务提供商区别开来。”
他进一步比喻道：“训练LLM就像制作地图，需要收集数据、分析地形并绘制路线。这是一个缓慢且资源密集的过程，但一旦完成，它非常有用。AI推理就像使用GPS，即时应用知识，实时重新计算并适应变化，引导你到达目的地。推理是AI的下一个前沿领域。”
阿卡迈云推断不仅提升了AI应用的效率和灵活性，还为未来的AI发展奠定了坚实基础。
(以上内容均由Ai生成)
