研究人员惊讶地发现,受教育程度较低的地区采用 AI 写作工具的速度更快
快速阅读: 据《Ars Technica》称,斯坦福大学、华盛顿大学和埃默里大学的研究团队发布了题为“大型语言模型辅助写作在社会中的广泛采用”的研究,探讨了AI写作的流行程度。虽然AI检测工具在单个文档层面不够可靠,但研究通过分析大量数据发现了一些模式,表明AI语言模型对文本的影响。研究估计了ChatGPT发布前后的人口层面AI辅助内容比例,但强调实际AI使用率可能更高,因为难以检测经过大量修改或复杂化的AI生成内容。
斯坦福大学、华盛顿大学和埃默里大学的研究人员领导了这项研究,题为“大型语言模型辅助写作在社会中的广泛采用”,最初于二月中旬发布在arXiv预印本服务器上。李伟新和张耀辉是主要作者,合作者包括米海·科德雷努、王佳宇、曹汉成和詹姆斯·邹。检测AI的总体使用情况我们之前已经报道过,AI写作检测服务并不可靠,这项研究也未能推翻这一结论。在单个文档层面上,不能信任AI检测器。但在分析数百万份文档的整体数据时,可以发现一些表明AI语言模型对文本产生影响的特征模式。研究人员根据之前发布的一项工作中提出的统计框架,开发了一种方法,该工作分析了ChatGPT发布前后词频和语言模式的变化。通过对大量ChatGPT发布前后的文本进行比较,他们估计了人口层面的AI辅助内容比例。假设LLM倾向于选择某些与普通人类写作略有不同的词汇、句型和语言模式。为了验证他们的方法,研究人员创建了包含已知AI内容百分比(从0%到25%)的测试集,并发现他们的方法预测这些百分比的误差率低于3.3%。这种统计验证增强了他们对人口层面估计的信心。尽管研究人员特别指出他们的估计可能代表的是AI使用的最低水平,但重要的是要理解实际的AI参与度可能显著更高。由于难以检测经过大量修改或日益复杂的AI生成内容,研究人员表示,他们报告的采用率可能严重低估了生成式AI的实际使用水平。
(以上内容均由Ai生成)