工党如何使用有偏见的 AI 来确定福利申请
快速阅读: 据《诺瓦拉媒体》最新报道，工党政府正利用有偏见的人工智能影响英国贫困群体的福利审批，存在误判风险。DWP承认相关算法工具偏颇但必要，且透明度不足。首相欲将AI作为经济增长关键，但有争议的AI工具已在福利领域应用，引发担忧。
工党政府的秘密人工智能工具正在深入影响英国数百万最贫困和最弱势群体的福利流程。这些算法系统中存在偏见，使它们更容易错误地将某些特定特征人群的索赔标记为潜在欺诈。
在英国工作与养老金部（DWP），一名高管承认，不仅用于标记欺诈的算法存在偏见，而且他认为这种偏见是必要的。DWP的变革与韧性总监尼尔·库林表示：“系统确实存在偏见；问题在于这些偏见是否法律不允许，因为必须有偏见才能抓住欺诈者。”
尽管DWP现行政策强调“人类监督”下不做出最终决定，但新工党立法意味着这一政策将不再成为DWP的政策。工党废止了保守党提出的反乌托邦式数据保护与数字信息（DPDI）法案，取而代之的是他们自己的版本——数据（使用和访问）法案。这一法案并未改善保守党的计划，反而大大扩大了自动化决策的范围。此外，工党还以公共当局（欺诈、错误和回收）法案的形式复活了DPDI中最争议的部分之一，该法案将迫使银行为了打击福利欺诈而监视所有客户。
首相基尔·斯塔默表示，他想将AI视为促进经济增长的关键。斯塔默对人工智能的热情得到了托尼·布莱尔研究所的推动，该研究所在2024年7月的一份报告中提倡将DWP转变为“AI典范”部门。工党正在打开闸门，不仅是一个将所有申请人视为嫌疑人的数字化福利系统，而是一个AI工具被用来以我们不一定意识到的方式支配我们生活的公共部门。
存在偏见且效果不佳。根据去年年底依据《信息自由法》发布的文件，DWP承认其用于检测通用信贷（UC）欺诈的人工智能工具存在偏见。自2023年7月以来，这份文件显示，DWP多次评估了这个专注于处理UC申请期间五周等待期现金预支索赔的机器学习工具的公平性。每次分析都发现，该算法和干预过程更有可能错误地标记某些具有特定受保护特征的索赔人，研究人员认为这是“统计上显著”的。本质上，AI错误地假设了一些人更有可能基于年龄、国籍以及是否已婚等因素欺诈。更重要的是，DWP自己的报告承认其用于评估公平性的指标不完整。它未能测试针对许多边缘化和遭受歧视群体的偏见——或者针对交叉性脆弱性的偏见。
多亏了公共法律项目跟踪自动政府（TAG）登记册、通过FOI请求获得的文件以及DWP自己的账目，我们知道目前DWP正在使用的AI技术数量在9到12个之间——包括用于评估通用信贷提前索赔的那个。更多正在计划中。
2023年，政府启动了一个算法透明记录，以提供有关公共部门组织在决策中使用的算法工具的明确信息。在撰写本文时，尽管披露要求已经超过一年，DWP仅在算法透明记录中列出了一个AI工具。这个单一列出的工具被称为“在线医疗匹配”。
DWP表示，它使用该工具来处理就业和支持津贴（ESA）的索赔——如果因疾病或残疾导致工作能力受限，大约150万人会申请这项主要与健康相关的福利。这个AI匹配工具是由全球IT巨头埃森哲提供的，埃森哲是一家起源于美国但总部设在爱尔兰的跨国公司，据说是为了避免支付更高的税率。在过去二十年里，埃森哲卷入了一系列争议，由于延误和成本超支问题，在2006年退出了其与NHS IT改造合同的合作。
DWP表示，“在线医疗匹配”工作原理如下：当索赔人作为ESA索赔的一部分分享他们的症状或诊断时，AI将此条件与DWP的残障参考指南中列出的条件进行匹配。最接近的匹配项用于注册索赔，然后由人工代理审查，决定是否应授予ESA。
在2020年至2024年间，DWP秘密使用了AI工具的初始版本，但其可靠性极低。它只有35%的时间正确匹配条件。根据DWP自己的承认，这意味着“慢性疲劳被翻译成慢性肾功能衰竭，或者部分脚部截肢被翻译成部分失明”。DWP宣称更换为更新版大型语言模型后准确率提升至87%。然而，这个更新后的分数是基于仅360个案例的小样本量得出的，这让人怀疑其实际准确性如何。
自2020年7月以来，已有超过78万件案件经由在线医疗匹配处理。
显然，工党政府正将AI视为促进经济增长的关键。今年1月，它发布了包含50条行动要点的AI发展机遇计划——实质上是对采购AI开发服务的通知，允许政府“快速测试、构建或购买工具”。
残疾人权益倡导者警告称，福利申请者不过是政府公共部门AI计划中的试验对象——没有他们的同意甚至没有他们的知晓。自2020年以来，DWP一直在使用机器学习工具，但关于所有AI工具的身份、有效性以及采取了哪些预防偏见或减轻现实伤害影响的安全措施，存在严重的透明度缺乏。
概念验证试点项目是复杂的事情。我们知道它们正在进行，但我们不知道所有涉及的工具、测试的人口数量或地理区域。算法透明登记册不要求公布它们——并且可以正式申请豁免以避免公布。据《卫报》报道，DWP官员去年8月告诉科技公司，“迄今为止已完成约9个POC（概念验证）”，并且“一个POC已经上线，另一个正在上线过程中”。
来自大曼彻斯特残疾人联盟的瑞克·伯吉斯表示，对于POC来说，通常会发生两种情况之一。“如果它们是灾难性的且不起作用，DWP只是悄然终止这些项目，而且常常没有人知道发生了什么。保密协议在参与这些项目的人员中相当普遍。如果他们喜欢它，它就会开始推广。”
一种名为“白邮件”的试点工具，该工具“阅读”福利申请者的信件并据称优先处理最脆弱的案件（隐含地降低其他案件的重要性），因其因处理敏感个人信息的方式而遭到批评。根据《信息自由法》向《卫报》发布的文件显示，福利申请者不知道它正在对他们使用，因为DWP认定他们无需知晓自己参与该倡议的情况。
另外两个技术已经被悄然放弃——A-cubed，原计划帮助DWP工作人员让求职者找到工作，以及Aigent，旨在加速个人独立支付（PIP）发放的。
伯吉斯认为，虽然存在偏见且效果不佳的AI首先被用于残疾人，但我们所有人都应该感到害怕——而且愤怒。他认为在福利等领域使用AI工具是它们将在公共部门更广泛推广的一个前兆——这影响着英国每个人的日常生活，无论他们是否接受福利。
“他们通常选择寻求庇护者和福利领取者作为测试这些技术的对象，因为他们认为这些人作为一个政治群体相对无力且不受同情。所以如果他们对我们造成伤害或犯下严重错误，这对他们来说不是问题，”伯吉斯告诉诺瓦拉媒体。
在本文发表后，工作与养老金部回应了评论请求。它表示：“使用AI将帮助我们履行保护公共资金的义务，并且是在健全的治理和伦理框架内发展起来的。我们不会用AI取代人类判断来确定或拒绝向申请人付款。”
(以上内容均由Ai生成)
