AI 正在用于社会服务——但我们必须确保它不会给客户带来创伤
快速阅读: 据《The Conversation （英国）》最新报道，去年年底，维多利亚州一名儿童保护工作者使用ChatGPT起草文件时出现错误，导致该州信息专员禁止在儿童保护中使用AI。AI在社会服务中的应用，如聊天机器人和推荐系统，虽带来便利但也可能造成伤害。为减少AI对用户造成的潜在心理创伤，需采取创伤知情方法评估和使用AI。为此，研究人员开发了创伤知情AI评估工具包，帮助服务提供者安全使用AI。
去年年末，一名维多利亚州儿童保护工作者使用ChatGPT起草文件。明显错误的是，ChatGPT将用于性行为的“娃娃”称为“适合年龄的玩具”。随后，维多利亚信息专员禁止在儿童保护中使用生成式人工智能（AI）。不幸的是，许多有害的AI系统不会获得如此高的公众关注度。至关重要的是，使用社会服务的人——如就业、无家可归者援助或家庭暴力服务——应意识到他们可能受到AI的影响。此外，服务提供者应该充分了解如何安全地使用AI。幸运的是，新兴的法规和工具，如我们的创伤知情AI工具包，可以帮助减少AI带来的伤害。社会服务如何使用AI？AI以其改善服务交付的承诺吸引了全球关注。在压力重重的社会服务部门，AI承诺减少积压工作，降低行政负担，并更有效地分配资源，同时提升服务质量。不足为奇，各种社会服务提供商正在以多种方式使用AI。聊天机器人通过语音、文本或图像模拟人类对话。这些程序越来越多地用于各种任务。例如，它们可以提供心理健康支持或提供就业建议。它们还可以加快数据处理速度或帮助快速创建报告。然而，聊天机器人很容易产生有害或不准确的回应。例如，美国国家饮食失调协会部署了聊天机器人Tessa来支持患有饮食失调的客户。但当倡导者指出Tessa提供了有害的减肥指导时，它很快被下线了。推荐系统利用AI进行个性化建议或选项。这可能包括针对工作或租房广告，或基于服务提供者可用数据的教育材料。但推荐系统可能是歧视性的，例如LinkedIn向男性展示的工作广告比女性多。它们也可能强化现有的焦虑。例如，孕妇在社交媒体上被推荐令人恐慌的怀孕视频。识别系统分类数据，如图像或文本，以便比较一个数据集与另一个数据集。这些系统可以完成许多任务，如面部匹配以验证身份或将语音转录为文本。此类系统可能引发监控、隐私、不准确性和歧视问题。加拿大的一家收容所停止使用面部识别摄像头，因为它们可能导致隐私泄露——对于使用收容所的身心不适或醉酒的人来说，很难获得知情同意。风险评估系统利用AI预测特定结果发生的可能性。许多系统被用来计算虐待儿童的风险、长期失业、税务和福利欺诈的风险。通常，这些系统中使用的数据可能会重现社会不平等，对已经边缘化的群体造成伤害。在一个案例中，美国用于识别虐待儿童风险的工具不公平地针对贫困、黑人和混血家庭以及有残疾的家庭。荷兰的一个风险评估工具试图识别儿童福利欺诈，因带有种族偏见而被关闭，而法国的一个AI系统也面临类似的指责。阅读更多：。预测犯罪的算法正在监视我们，并根据我们所处的环境做出判断需要采用创伤知情的方法令人担忧的是，我们的研究表明，在社会服务中使用AI可能会导致或加剧用户的心理创伤。美国心理学会定义创伤为一系列事件引起的情感反应，如事故、虐待或亲人的死亡。广泛理解，创伤可以在个人或群体层面体验定义创伤为一系列事件引起的情感反应，如事故、虐待或亲人的死亡。广泛理解，并且可以代代相传。土著人民在澳大利亚由于殖民化经历的创伤是群体创伤的一个例子。57%至75%的澳大利亚人在其一生中至少经历过一次创伤事件。许多社会服务提供者长期以来采用了创伤知情的方法。这种方法重视信任、安全、选择、赋权、透明度及文化、历史和性别因素。采用创伤知情方法的服务提供者理解创伤的影响并能识别用户的创伤迹象。尽管AI的常被夸大的功能具有吸引力，服务提供者仍应谨慎不要放弃这些核心原则。社会服务机构无需完全回避AI。但社会服务提供者和用户应意识到AI可能带来的伤害风险——这样他们才能引导AI向善发展。为了减少造成或加剧创伤的风险，社会服务提供者在使用任何AI系统之前应仔细评估。社会服务机构无需完全回避AI。但社会服务提供者和用户应意识到AI可能带来的伤害风险——这样他们才能引导AI向善发展。对于已有的AI系统，评估有助于监测其影响并确保其安全运行。我们开发了一个创伤知情AI评估工具包，帮助服务提供者评估其计划或当前使用AI的安全性。该工具包基于创伤知情护理的原则、AI危害案例研究以及与服务提供者的研讨会。在线版本的工具包即将在组织内试点。创伤知情AI评估工具包通过提出一系列问题，该工具包使服务提供者能够考虑风险是否超过收益。例如，AI系统是否与用户共同设计？用户能否选择不接受AI系统的使用？它引导服务提供者通过一系列实际考量来增强AI的安全使用。通过提出一系列问题，该工具包使服务提供者能够考虑风险是否超过收益。例如，AI系统是否与用户共同设计？用户能否选择不接受AI系统的使用？社会服务不必完全避免AI。但社会服务提供者和用户应意识到AI可能带来的伤害风险——这样他们才能引导AI向善发展。通过提出一系列问题，该工具包使服务提供者能够考虑风险是否超过收益。例如，AI系统是否与用户共同设计？用户能否选择不接受AI系统的使用？
(以上内容均由Ai生成)
