AI4Bharat 收集 10 万亿个代币数据,以印度语言为 AI 提供支持
快速阅读: 《经济时报》消息,位于钦奈的AI4Bharat正在收集十万亿个标记的语言数据集,涵盖印度22种官方语言的日常对话和技术文档。AI4Bharat联合创始人米特什·卡普拉表示,这些数据将推动下一代AI服务的发展。该项目旨在让人工智能更好地理解印度语言,以服务印度多元化的人口。
位于钦奈的AI4Bharat正在收集十万亿个标记的语言数据集,从印度主要语言的日常对话到技术文档。AI4Bharat联合创始人米特什·卡普拉表示,这些数据将为下一代AI服务提供动力。“我们收集了二十亿个口语词汇……在四个邦已经上线或处于活跃阶段。我们有支持农民、儿童、数字支付和农业的应用案例。在过去三年里,我们几乎走遍了全国每一个地区,努力覆盖国内的二十二种官方语言。”卡普拉在周六班加罗尔的人们+ai集市上说。AI4Bharat确保收集了跨越多个年龄段、不同职业(蓝领和白领)的声音样本,他补充道:“许多初创公司、学术机构和深度科技机构正在利用这些数据构建自己的模型,以加速语言技术的采用。”卡普拉介绍说,用于数据收集的工具是从零开始构建的。“我们的数据、模型和脚本都是开源的。你可以在此基础上进行开发。”他说。过去三年收集的所有数据都将被整合进十万亿个标记项目中。卡普拉说:“这将确保我们能够建立支持印度语言的本地Indic模型,而不是作为事后想法。我们希望收集十万亿个印度语言的标记,这些数据将是合成数据,包含语言信息和文化背景。”为了服务印度多元化的民众,人工智能需要像理解英语一样理解印度语言。人们+ai在其博客中指出,要建立适合印度的人工智能,需要不同于适用于英语的方法。英语数据在互联网上无处不在,使得训练人工智能模型变得容易。印度有二十二种主要语言,每种语言都有自己的书写系统、语法规则和文化背景,而当前的人工智能方法对于这种多样性来说远远不够有效。“当泰米尔纳德邦的人向人工智能寻求政府表格的帮助,或者马哈拉施特拉邦的农民需要作物建议时,他们应该能够用自己熟悉的语言自然且轻松地做到这一点。但目前这还无法实现。我们现在的人工智能模型在处理印度语言时遇到困难,因为它们主要是为英语设计的。”人们+ai进一步表示,“这就是我们启动‘十万亿个标记’项目的原因。我们正在为能够正确理解和处理印度语言的人工智能打下基础——从正式的政府文件到当地茶馆的闲聊。我们的目标是收集并整理大量数据,使人工智能能够为印度所有语言的使用者服务。”
(以上内容均由Ai生成)