GSMA Open-Telco LLM 基准测试推出，推动电信 AI 发展

快速阅读: 据《GSMA 公司》称，2025年2月25日，GSMA宣布推出开放电信大语言模型基准测试，旨在提升电信领域AI模型性能。该计划获得了多家移动网络运营商和技术供应商支持，包括德国电信、LG Uplus、SK电信和华为等。此举将填补当前AI模型在电信应用中的局限，通过透明的开源评估方法提高模型的能力、能效和安全性。

2025年2月25日，伦敦 —— GSMA创新中心今日宣布推出GSMA开放电信大语言模型基准测试，这是一个旨在提升电信专用应用程序中大型语言模型（LLM）性能的开源社区。该社区提供了业界首个框架，用于评估实际电信使用场景中的AI模型，并在启动时得到了Hugging Face、卡尔巴大学、Linux基金会以及众多领先移动网络运营商和技术供应商的支持。

随着电信领域对AI的采用加速，LLM在处理技术性电信知识、监管合规性和网络故障排除方面表现出显著不足。最近的测试显示，GPT-4在TeleQnA上的得分低于75%，TeleQnA是一个全面的数据集，专门用于评估LLM在电信领域的知识；在基于3GPP标准文档的3GPPTdocs分类数据集上，GPT-4得分低于40%。微软的Phi-2，一个更小的模型，在包含500个通用数学问题的MATH500基准测试中仅得10分。

这些结果突显了当前AI模型在解决特定电信查询方面的局限性。GSMA开放电信大语言模型基准测试将通过透明且开源的评估方法来填补这些空白，涵盖能力、能效和安全性。

“今天的AI模型在处理特定电信查询时存在困难，经常产生不准确、误导或不切实际的建议，”GSMA AI项目负责人路易斯·鲍威尔表示。“通过创建一套行业标准基准，我们不仅提高了模型的性能，还确保了电信领域的AI是安全、可靠并符合实际运营需求的。”

支持GSMA开放电信大语言模型基准测试发布的移动网络运营商包括德国电信、LG Uplus、SK电信和Turkcell，以及技术供应商华为。

GSMA开放电信大语言模型基准测试社区使移动网络运营商、AI研究人员和开发者能够提交使用案例、数据集和模型进行评估。标准化的基准测试框架确保所有AI模型都在电信领域知识、数学推理、能耗和安全性等现实世界挑战下进行评估。最终的基准测试结果将在Hugging Face上发布，以确保透明度并鼓励社区参与。

现在，移动网络运营商、供应商、初创企业和研究人员被鼓励通过提交兴趣和LLM电信用例到 [email protected] 来贡献内容，并访问 www.gsma.com/get-involved/gsma-foundry/gsma-open-telco-llm-benchmarks 获取更多信息。

合作伙伴引言：

Hugging Face

Hugging Face产品与增长主管杰夫·布迪耶表示：“Hugging Face是领先的AI构建者开源平台，我们很高兴支持并托管GSMA开放电信大语言模型基准测试，以促进电信AI的采用和创新。”

卡尔巴大学

“学术界通过确保严格的基准测试和科学诚信，在推动电信领域的AI发展中发挥着关键作用。在卡尔巴大学，我们很自豪地支持GSMA开放电信大语言模型基准测试倡议。这一努力将推动创新并提高AI模型在实际电信应用中的可靠性，”卡尔巴大学6G研究中心主任梅鲁安·德巴赫教授说。

LG Uplus

LG Uplus首席技术官李尚燮表示：“我们正处于一个人类和AI代理共存的新阶段，而电信将在建立他们之间安全自主连接中扮演重要角色。LG Uplus致力于通过LLM的发展推进AI代理创新，并欢迎GSMA开放电信大语言模型基准测试作为我们追求保障智能服务的指路明灯。”

Linux基金会

“GSMA开放电信大语言模型基准测试的发布标志着电信行业推动AI采用的一个重要里程碑，”Linux基金会网络、边缘和物联网部门总经理阿普里特·乔希普拉说。“通过建立开放的标准基准，这一举措带来了急需的透明度和性能洞察，使运营商和生态系统合作伙伴能够在部署特定领域的AI时充满信心。Linux基金会支持这一努力，因为它与我们推动全球电信网络创新和效率的愿景相一致。”

SK电信

SK电信AI技术合作办公室负责人埃里克·戴维斯表示：“GSMA开放电信大语言模型基准测试的引入标志着电信行业在其追求实际AI效益过程中的一个重要里程碑。通过建立标准化的评估框架，我们同时推动了创新并确保AI解决方案能够提供我们的快速演变行业所要求的稳健性、可靠性和精确性。”

此次发布紧随去年全行业承诺以道德和可持续的方式探索电信AI用例，其中核心是GSMA负责任的AI成熟度路线图，这有助于移动网络运营商确保从开始到演进过程中应用最佳实践原则。

MWC25巴塞罗那的“生成式AI峰会：从实验到转型”将举办一系列会议，旨在探索生成式AI在电信行业的实际应用和变革潜力。主要内容将包括关于AI驱动的网络优化、个性化客户体验以及在5G及以后集成生成式AI的讨论。著名演讲嘉宾如英国电信首席数字官哈里·辛格、e&集团首席战略官哈里森·朗、亚马逊AWS工业技术部总监卡尼兹·马赫迪以及Orange首席技术官洛朗·勒布舍，将分享他们关于利用AI推动行业进步的见解和经验。

MWC25巴塞罗那其他AI演讲亮点包括主题演讲7“科技游戏改变者”，亚瑟·门施，一位领先的AI研究员和Mistral AI的CEO，将登台讨论最新的发展和即将革新电信行业的实际应用。此外，主题演讲10“为什么AI代理将改变一切”，布雷特·泰勒，Sierra的CEO和联合创始人以及OpenAI董事会成员，将讨论AI代理如何准备重塑企业和企业。

-ENDS-

致编辑的注释

[1] https://arxiv.org/abs/2303.08774

2 https://arxiv.org/abs/2310.15051

[1] https://arxiv.org/abs/2303.08774

3 https://huggingface.co/datasets/netop/TeleQnA

4 https://arxiv.org/pdf/2407.09424

5 https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/

6 https://huggingface.co/datasets/di-zhang-fdu/MATH500

7 https://arxiv.org/pdf/2103.03874

附加感兴趣的论文，“TelcoLM：为电信领域收集数据、适应和基准测试语言模型”，康奈尔大学，2024年12月

关于GSMA

GSMA是一个统一移动生态系统的全球组织，旨在发现、开发和交付对积极商业环境和社会变革具有基础性的创新。我们的愿景是释放连接的全部力量，使人们、产业和社会繁荣发展。代表移动运营商和移动生态系统及其相邻行业的组织，GSMA在三大支柱上为会员提供服务：公益连接、行业服务和解决方案以及外展活动。这些活动包括推进政策、应对当今最大的社会挑战、支持使移动通信工作所需的技术和互操作性，并提供世界上最大的平台，让移动生态系统在MWC和M360系列活动中汇聚一堂。

关于GSMA

欢迎您了解更多详情，请访问 gsma.com

关于GSMA

媒体联系人

GSMA新闻团队

[email protected]

(以上内容均由Ai生成)