AI 在给论文评分时显示种族偏见——并且无法区分好文章和坏文章

快速阅读: 据《7400 万》称，研究表明，AI评分存在偏见，尤其对黑人学生不利。AI复制了人类评分中的种族差异，可能导致教育不平等加剧。教育者需谨慎使用AI评分，技术开发者应优先考虑公平性，确保AI促进而非阻碍教育公平。订阅《七十四通讯》获取更多故事。

让这些故事直接送到你的收件箱。订阅《七十四通讯》吧

每天，人工智能技术深入到全国各地的教室，帮助教师实现个性化教学、辅导学生并制定课程计划。但对其完成这些工作的效果如何，尤其是在评分学生写作方面，仍有争议。一项新的研究来自学习机构实验室发现，尽管ChatGPT在撰写论文时能够模仿人类评分，但它难以区分好文章和差文章。这对学生来说有着严重的后果。

为了更好地理解这些后果，我们使用自动化学生评估奖（ASAP）2.0基准来评估ChatGPT的作文评分能力。这包括大约两万四千篇由美国中学和高中学生撰写的论说文。ASAP 2.0之所以特别适合这类研究，是因为每篇论文都由人类评分，并且包含每位学生作者的人口统计信息，如种族、英语学习者状态、性别和经济状况。这意味着研究人员不仅可以将AI的表现与人类评分者进行比较，还可以跨不同学生群体进行分析。

那么我们发现了什么？ChatGPT确实为不同的种族群体分配了不同的平均分数，但大多数差异都非常小，可能不会产生太大影响。然而，有一个例外：黑人学生的得分低于亚裔学生，而且这个差距大到需要引起注意。但问题是：同样的差距也出现在人工评分中。换句话说，ChatGPT并没有引入新的偏见，而是复制了已经存在于人类评分数据中的偏见。虽然这可能表明模型准确反映了当前的标准，但也突显了一个严重风险。当训练数据反映现有的种族差异时，这些不平等问题可能会被嵌入模型本身。结果就是可预见的：那些历史上被忽视的学生将继续被忽视。

这非常重要。如果AI模型强化了现有的评分差异，学生可能会因为历史上的评判方式而得到较低的成绩，而不是因为写作质量差。随着时间推移，这可能会影响学术自信、进入高级课程的机会甚至大学录取，从而加剧教育不平等，而非缩小它们。

相关加州教师正在使用AI来评分论文。谁在评估AI？此外，我们的研究还发现，ChatGPT难以区分优秀和糟糕的写作。与人类评分者不同，后者给出更多的A和F，ChatGPT则给出了大量的C。这意味着优秀的作家可能得不到他们应得的认可，而较差的写作也可能未被发现。对于弱势背景的学生来说，这可能是一个严重的损失，因为他们通常需要更努力才能被注意到。

需要明确的是，人类评分并不完美。教师在评分论文时可能会有无意识的偏见或应用不一致的标准。但如果AI不仅复制这些偏见，还未能识别出卓越的作品，它并不能解决问题。它反而强化了教育工作者正努力解决的相同不平等问题。

这就是为什么学校和教育工作者必须仔细考虑何时以及如何利用AI进行评分。与其取代评分，他们可以提供关于语法或段落结构的反馈，而最终评估仍留给教师。与此同时，教育技术开发者有必要批判性地审视自己的工具。仅仅衡量准确性是不够的，开发者需要问：它对谁准确，在什么情况下准确？谁从中受益，谁被落下？

像ASAP 2.0这样的基准数据集，包含人口统计细节和人工评分，对于任何想要评估AI系统公平性的人来说都是必不可少的。但还需要更多。开发者需要获得更高品质的数据集，研究人员需要资金来创建它们，行业需要从一开始就优先考虑公平的明确指导原则，而不是事后才考虑。

AI已经开始重塑学生的学习和评价方式。但如果未来要公平，开发者必须构建考虑到偏见的AI工具，而教育工作者必须在明确的界限内使用它们。这些工具应该帮助所有学生发光，而不是将他们的潜力平庸化以适应平均水平。教育领域中AI的承诺不仅仅在于效率，更在于公平。没有人能承受这个错误带来的后果。

让这些故事直接送到你的收件箱。订阅《七十四通讯》吧

(以上内容均由Ai生成)