专家呼吁建设低延迟算力基建

快速阅读: 公开资料显示，2025年TechSparks大会聚焦印度实时AI发展，与会企业强调低延迟、多语言支持及本地合规算力是关键，Groq演示的超快推理技术引发关注，推动语音交互、金融科技等高敏场景落地。

过去一年，人工智能已深度融入印度企业的多个领域。然而，随着应用范围不断扩大，行业正迎来一个关键转折点：下一阶段的突破不再依赖更“聪明”的模型，而在于更“快速”的响应能力。

在客户服务、电商、教育、出行及金融科技等领域，企业亟需具备即时响应、多语言支持和全国规模经济可行性的AI系统。实时性已成为新的竞争前沿。这一趋势成为2025年TechSparks大会闭门圆桌会议“快于当下：构建印度实时AI未来”的核心议题。会议由BeeNext合伙人钦马亚·萨克塞纳主持，汇聚了Hector Beverages、Lead School、Acko、BigBasket、InCred Finance、Cars24、M2P、BharatPe、Zeta等企业的技术负责人，以及Groq公司代表斯科特·阿尔宾与梅赫尔·帕特尔，共同探讨在高要求场景中落地实时AI的路径。

会上，语音作为印度主流的交互方式被反复强调。用户普遍偏好电话沟通、方言对话和自然对话语境，对延迟极为敏感——半秒停顿即显不自然，一至两秒延迟常导致通话中断。尽管语音机器人已高度拟人，但仅在延迟极低时才能维持良好体验，速度由此成为成败关键。

印度语言多样性进一步加剧了这一挑战。现有模型在印地语及部分北印语言上表现尚可，但在南印、东印语言及小城镇方言中的准确率显著下降，直接影响贷款服务、教育支持等场景的信任度与成效。多位与会者指出，若只解决延迟而忽视语言适配，实时AI将难以真正落地。

此外，基于意图的搜索需求正迅速增长。例如“办公室健康零食”“糖尿病父亲礼物”等长尾查询需要上下文理解，传统关键词匹配已难以满足。尽管大语言模型（LLM）能有效解析用户意图，但其高推理成本与延迟使其难以支撑每秒数千次的搜索量。唯有超低延迟、低成本的模型，才能推动LLM搜索在印度普及。

在金融科技领域，数据本地化与合规构成主要制约。个人及交易数据不得出境，即便瞬时推理也受限制。随着数据保护法规趋严，银行与非银金融机构对跨境数据流动采取更谨慎立场，制约了AI在信贷决策、催收、反欺诈等环节的应用。与会者普遍认为，安全、合规且部署于印度本土的主权算力，是实现实时金融AI的前提。

值得注意的是，并非所有AI场景都需实时处理。智能文档处理、核保摘要、KYC验证等可采用近实时或批处理模式。但各企业均识别出至少一项关键用例——如语音议价、个性化推荐、外勤人员实时提示、即时质检——其中亚秒级响应可直接提升营收、降低风险或优化客户体验。实时、近实时与批处理的分层架构，正重塑企业技术布局。

近日，Groq公司进行的一场实时演示引发业界对AI基础设施建设的深入讨论。该演示基于其LPU架构，展现出极快的首字生成速度、低于200毫秒的响应延迟，以及相较GPU推理显著的成本优势。现场围绕“推理速度提升5倍”和“大规模部署下成本降低高达90%”等数据展开热议，尤其在单位经济模型决定项目可行性的行业引发广泛关注。

与会者指出，除性能指标外，系统可预测性才是关键差异点。这包括稳定的延迟表现、统一的输出格式，以及无需频繁重构内部系统即可运行定制或微调模型的能力。

针对印度发展实时AI的需求，各方在会后形成初步共识：首先，延迟需降至人类感知阈值以下，尤其适用于语音优先的应用场景；其次，令牌经济模型应适配印度高并发、低成本的使用特点，推动小型化、精细化模型的发展；第三，语言支持需实质性扩展，覆盖更多本土语言及方言；第四，通过本地化算力部署和合规架构，解决数据驻留问题；最后，实时AI必须创造真实商业价值，如提升转化率、降低欺诈风险、加速决策或优化用户体验。

尽管挑战犹存，与会者普遍认为，印度复杂的市场环境恰为实时AI技术的理想试验场。若能在印度实现高速、多语言、低成本的大规模AI应用，该技术便具备全球推广潜力。各方一致认为，印度下一阶段AI发展的关键，在于实时系统成熟的速度。

(以上内容均由Ai生成)

引用自：YourStory网站