了解公共采购如何塑造城市的 AI 使用
快速阅读: 据《政府技术》最新报道,新论文指出,传统采购方式影响城市采用AI,可能对边缘化群体造成不利影响。研究建议解决信息差距、增强对供应商的要求及共享治理责任等三大挑战,以改进AI采购流程。
传统采购方式在很大程度上影响了城市采纳人工智能的方法。然而,这些流程中的漏洞可能对边缘化群体造成不成比例的影响,这是根据一篇新论文得出的结论。这篇题为《传统采购实践如何塑造美国城市治理人工智能:理解政府雇员的实践、挑战和需求》的论文,由今年四月发布的匹兹堡大学Pitt网络安全中心与卡内基梅隆大学Block中心联合撰写。通过对19名从事采购和治理工作的地方政府雇员进行访谈,该报告得以完成,描绘了采购的实际状况,并概述了城市必须解决的三大关键挑战,以改善其采购实践。
联邦机构所使用的AI工具中,超过一半是从商业供应商处购买的。在创建AI工具和系统时,私营部门有时会忽略某些领域,例如AI工具可能带来的偏见风险,以及常常被隐藏的风险。然而,开发者可以采取有意的步骤来确保AI系统具有包容性并减轻偏见。专注于通过AI系统提高效率或性能的狭隘视角可能导致对边缘化社区产生不成比例的负面影响。偏见和隐私侵犯实例揭示了公共部门在获取、使用和治理AI方面的诸多问题,论文指出。然而,它提出可以通过重新构想AI采购方式来帮助政府预见并防止AI带来的危害。要做到这一点,首先需要更好地理解城市的AI采购实践,这也是本分析的重点。
论文指出,在某些情况下,城市的采购实践阻碍了其应对AI危害的能力。例如,成本门槛允许员工以一种绕过政府采购通常涉及的责任机制的方式获取低成本或无成本的AI解决方案。论文探讨了传统采购过程中AI收购缺乏标准化的问题。在某些情况下,需要市议会批准,而在其他情况下则不需要。合同往往在采购方能够访问AI系统之前就已经谈判并签署。合同很少重新谈判,而且在多个案例中,员工表示算法危害仅在部署后才显现出来。城市还使用不同的治理流程处理不同类型的AI采购,不同城市对数据隐私等价值观的重视程度也有所不同。
应对挑战
论文认为,城市必须解决三个挑战以改进AI采购流程。首先,城市必须解决政府与其供应商之间的信息差距。一位未具名的采购专家在论文中说道:“我真的不知道与AI合作存在哪些风险,如果我不能舒适地保护我们免受这些风险,那么我就没有尽到我的职责。”其次,城市需要支持向AI供应商要求更多内容。研究发现,AI供应商经常隐瞒其系统的关键信息。政府雇员表示,他们在与供应商达成协议时缺乏影响力。一名雇员甚至引用了一份合同,其中他们只能与供应商进行五次支持通话。第三,城市需要支持在共享和承担持续的AI治理责任方面提供帮助。论文认为,AI治理过程不会在开发或部署阶段结束。因此,可能需要更明确的指导来解决公私部门之间如何分担持续的AI治理责任。虽然城市可能在承担这一治理角色方面能力有限,但论文认为治理活动最好由政府雇员执行。因此,能力建设对于改进这一过程至关重要。
一些接受访谈的城市官员表示,他们的现有采购实践已经发生了变化,以适应AI采购,例如建立AI审查流程。论文总结道,有一种趋势是“许多AI供应商不配合员工了解和减轻AI危害的努力”,这引发了关于利益相关者可能倡导哪些城市采购流程改革的问题,如何增加这些流程中的问责制,以及是否可以通过更直接的AI供应商监管来保护公众利益。
(以上内容均由Ai生成)