网络的 DeepSeek 时刻

快速阅读: 《快速模式》消息，深思探索的R1模型大幅降低了AI推理成本并提升训练效率，颠覆传统认知。文章指出AI推理对网络提出新挑战，包括流量峰值、低延迟、东西向流量优化等，呼吁网络团队采用智能路由、边缘计算及优化技术以应对未来需求。

深思探索（DeepSeek）凭借其令人震撼的R1模型给整个AI领域带来了巨大的冲击。该模型在推理计算量仅为大型AI公司领先推理最优模型（SOTA）的1/50成本的情况下，训练效率提升了20倍。在网络领域，深思探索的影响将在未来多年持续回荡。通过展示在规模化情况下推理时间的学习既经济又快速这一概念，深思探索颠覆了人们对AI应用行为的传统认知。推理流量和使用量可能比之前基于预训练和计算集群规模扩展规律所理解的高出几个数量级。进一步的研究发现，要求模型花费更多时间思考并生成更多选项可以改善结果，这同样会增加推理需求。这需要采用边缘计算、延迟感知路由以及优化的互联技术，从根本上改变网络运维团队对AI流量的思考方式。

与在受控批量环境中进行的AI训练不同，AI推理通常在实时中发生，且常常以不可预测的方式爆发。这种动态行为对网络有以下几方面的意义：

1. **流量峰值和突发**
AI推理工作负载可能高度事件驱动，这意味着请求可能突然激增（例如，一个热门聊天机器人、欺诈检测系统或实时推荐引擎）。网络需要具备流量感知能力的路由策略，以尽量减少跨云延迟和出口费用。同时，需要智能负载均衡和动态路由等弹性扩展机制，以避免瓶颈和服务降级。

2. **超低延迟成为关键任务**
AI推理经常支持实时决策（例如，自动驾驶汽车、医疗诊断、金融交易）。即使增加几毫秒的延迟也可能导致收入损失、交易失败或不准确的AI输出。这需要采用边缘计算、延迟感知路由以及优化的互连技术，将推理更接近用户和数据源。

3. **AI推理更倾向于东西向的数据中心内部流量**
与传统应用主要为南北向流量（客户端-服务器交互）不同，AI推理依赖于数据中心内部的高速东西向流量。因此，网络必须优化推理节点、存储和支持微服务之间的快速数据中心内通信。诸如InfiniBand、以太网上的远程直接内存访问（RoCE）以及NVMe-over-Fabric等高速互联技术变得尤为重要。

4. **API驱动的工作流需要负载感知的流量管理**
AI推理通常通过API提供服务，这意味着每个请求都必须被高效处理和路由。传统的负载均衡可能不够——AI工作负载需要具有应用感知和GPU感知的负载均衡来引导请求到最不繁忙或最优化的推理节点。这也意味着管理请求优先级，确保关键AI任务（例如，欺诈检测）不会因较低优先级的工作负载（例如，图像生成请求）而延迟。高性能且对开发者友好的API网关对于保障安全性和实现可扩展性至关重要。

5. **多云和边缘推理需要智能路由**
AI推理正变得越来越分散，工作负载分布在本地、云和边缘环境中。这需要具备流量感知能力的路由策略，以尽量减少跨云延迟和出口费用。边缘部署以使推理靠近用户（例如，现场处理视频的AI驱动安全摄像头）。混合网络策略用于权衡成本、速度与可靠性。

6. **可观测性和性能优化成为必要**
AI推理需要持续监控网络延迟、带宽使用和节点健康状况以保持性能。网络、站点可靠性工程（SRE）及机器学习运维（MLOps）团队都需要实时的可观测工具，集成AI特定指标，如：每请求的模型响应时间、每个推理节点的GPU/TPU利用率以及多云设置中的延迟变化。

**结论**
AI推理网络必须是自适应、可扩展且超低延迟的。推理时间的扩展迫使网络运营团队重新思考他们的基础设施——专注于弹性、低延迟路由和智能流量管理，以保持AI驱动的服务平稳运行。

本文中的观点仅属于作者个人观点，不代表《快模式》（The Fast Mode）。尽管本帖提供的信息来自《快模式》认为可靠的来源，但《快模式》不对任何因信息局限、变更、不准确、误导、遗漏或错误而导致的损失或损害承担责任。标题仅为便于查阅。

(以上内容均由Ai生成)