AI4Bharat 收集 10 万亿个代币数据，以印度语言为 AI 提供支持

快速阅读: 《经济时报》消息，位于钦奈的AI4Bharat正在收集十万亿个标记的语言数据集，涵盖印度22种官方语言的日常对话和技术文档。AI4Bharat联合创始人米特什·卡普拉表示，这些数据将推动下一代AI服务的发展。该项目旨在让人工智能更好地理解印度语言，以服务印度多元化的人口。

位于钦奈的AI4Bharat正在收集十万亿个标记的语言数据集，从印度主要语言的日常对话到技术文档。AI4Bharat联合创始人米特什·卡普拉表示，这些数据将为下一代AI服务提供动力。“我们收集了二十亿个口语词汇……在四个邦已经上线或处于活跃阶段。我们有支持农民、儿童、数字支付和农业的应用案例。在过去三年里，我们几乎走遍了全国每一个地区，努力覆盖国内的二十二种官方语言。”卡普拉在周六班加罗尔的人们+ai集市上说。AI4Bharat确保收集了跨越多个年龄段、不同职业（蓝领和白领）的声音样本，他补充道：“许多初创公司、学术机构和深度科技机构正在利用这些数据构建自己的模型，以加速语言技术的采用。”卡普拉介绍说，用于数据收集的工具是从零开始构建的。“我们的数据、模型和脚本都是开源的。你可以在此基础上进行开发。”他说。过去三年收集的所有数据都将被整合进十万亿个标记项目中。卡普拉说：“这将确保我们能够建立支持印度语言的本地Indic模型，而不是作为事后想法。我们希望收集十万亿个印度语言的标记，这些数据将是合成数据，包含语言信息和文化背景。”为了服务印度多元化的民众，人工智能需要像理解英语一样理解印度语言。人们+ai在其博客中指出，要建立适合印度的人工智能，需要不同于适用于英语的方法。英语数据在互联网上无处不在，使得训练人工智能模型变得容易。印度有二十二种主要语言，每种语言都有自己的书写系统、语法规则和文化背景，而当前的人工智能方法对于这种多样性来说远远不够有效。“当泰米尔纳德邦的人向人工智能寻求政府表格的帮助，或者马哈拉施特拉邦的农民需要作物建议时，他们应该能够用自己熟悉的语言自然且轻松地做到这一点。但目前这还无法实现。我们现在的人工智能模型在处理印度语言时遇到困难，因为它们主要是为英语设计的。”人们+ai进一步表示，“这就是我们启动‘十万亿个标记’项目的原因。我们正在为能够正确理解和处理印度语言的人工智能打下基础——从正式的政府文件到当地茶馆的闲聊。我们的目标是收集并整理大量数据，使人工智能能够为印度所有语言的使用者服务。”

(以上内容均由Ai生成)