研究表明 AI 数据集存在人类价值观盲点

快速阅读: 据《下一个 Web》称，研究表明，人工智能系统中嵌入的人类价值观存在显著不平衡，侧重信息和实用价值，忽视亲社会、福祉和公民价值。研究团队开发了一种方法，通过分析训练数据集中的价值观分布，帮助人工智能公司创建更平衡的数据集。这有助于确保AI系统更好地反映并服务于社会价值观。

我和我的同事们在普渡大学发现，人工智能系统中嵌入的人类价值观存在显著不平衡。这些系统主要侧重于信息和实用价值，而较少关注亲社会、福祉和公民价值。许多人工智能系统的核心是大量用于训练模型的图像、文本和其他形式的数据。尽管这些数据集经过精心策划，但有时仍可能包含不当内容。为了确保人工智能系统在回应用户时不会使用有害内容，研究人员引入了一种称为“基于人类反馈的强化学习”的方法。研究人员利用精心筛选的人类偏好数据集来指导人工智能系统的有益和诚实行为。在我们的研究中，我们审查了三家领先的美国人工智能公司使用的开源训练数据集。我们通过文献回顾，在道德哲学、价值理论以及科技与社会研究领域构建了一个涵盖人类价值观的分类体系。这些价值观包括福祉与和平；信息寻求；正义、人权和动物权利；责任与问责；智慧与知识；礼貌与宽容；同理心与乐于助人。我们使用这个分类体系手动注释了一个数据集，然后用该注释来训练一个人工智能语言模型。我们的模型使我们能够检查人工智能公司的数据集。我们发现，这些数据集中包含了一些训练人工智能系统在用户询问“如何预订航班”等问题时变得有益且诚实的例子。数据集中关于同理心、正义和人权相关问题的回答实例非常有限。总体而言，智慧与知识以及信息寻求是最常见的两个价值观，而正义、人权和动物权利则是最不常见的一种价值观。

研究人员首先构建了一个人类价值观分类体系。奥比等人，CC BY-ND

为什么这很重要

数据集中人类价值观的不平衡可能会对人工智能系统与人们互动以及处理复杂社会问题的方式产生重大影响。在这个政府和政策制定者正面对人工智能治理和伦理问题的关键时期，这项研究尤为重要。随着人工智能越来越多地融入法律、医疗保健和社会媒体等领域，重要的是这些系统能反映一个平衡的价值观光谱，以合乎伦理地满足人们的需求。这项研究也在政府和政策制定者面临人工智能治理和伦理问题的关键时刻具有重要意义。理解嵌入在人工智能系统中的价值观对于确保它们服务于人类的最佳利益至关重要。

还有哪些研究正在进行

许多研究人员正在努力将人工智能系统与人类价值观对齐。基于人类反馈的强化学习的引入是一个突破性的进展，因为它提供了一种引导人工智能行为的方法，使其变得有益且真实。各种公司正在开发技术以防止人工智能系统中的有害行为。然而，我们团队是第一个引入一种系统方法来分析和理解这些系统中实际嵌入的价值观。

下一步是什么

通过使这些系统中实际嵌入的价值观变得可见，我们旨在帮助人工智能公司创建更平衡的数据集，更好地反映他们所服务社区的价值观。公司可以采用我们的方法来识别他们在哪些方面做得还不够好，然后改进其人工智能训练数据的多样性。我们研究的公司可能不再使用这些数据集的旧版本，但他们仍可从我们的方法中获益，以确保他们的系统与社会价值观和规范保持一致。

奥比，普渡大学计算机与信息技术博士生

本文由《对话》杂志根据创作共用许可协议重新发布。阅读原文。

(以上内容均由Ai生成)