Axon 的 Draft One 旨在挑战透明度

快速阅读: 《电子前线基金会》消息，Axon的Draft One系统设计隐蔽，难以审计，生成的警报报告无法区分AI与人工内容，引发透明度和问责问题。

Axon企业推出的Draft One——一种基于警员执法记录仪音频生成警方报告的生成式人工智能产品——似乎有意设计以规避可能为公众提供问责的审计，根据电子前沿基金会（EFF）的一项调查发现。我们审查了已使用该技术的警察机构的公开记录——包括警方报告、电子邮件、采购文件、部门政策、软件设置等——以及Axon自己的用户手册和营销材料，发现难以判断警方报告中哪些部分是由AI生成的，哪些是由警官撰写的。您可以阅读我们的完整报告，其中详细说明了我们在这些文件中发现的内容、我们如何提交信息公开申请，以及您如何自行提交申请，在这里。在这里每个人都应有权获取有关这项技术有效性和危险性的答案、证据及数据。Axon及其客户声称这项技术将彻底改变警务工作，但尚不清楚它将如何改变司法系统，以及这项技术最受益的是谁。几个月来，EFF和其他组织一直在警告这种技术对本就存在问题的司法系统中的问责制和透明度构成的威胁。现在我们得出结论，情况比我们想象的更糟糕：无论你是警察局长还是独立研究人员，都无法进行有效审计，因为Axon就是这么设计的。

Draft One使用一个ChatGPT变种来处理公共接触的执法记录仪音频，并仅基于捕获的口头对话生成警方报告；它不处理视频。由Draft One生成的文本中充满了括号内的占位符，鼓励警官添加额外的观察或信息，或者可以快速删除。警官被要求编辑Draft One的报告并纠正Gen AI因缺乏上下文、翻译问题或简单错误而产生的误解内容。完成后，警官会被提示签署一份确认书，声明该报告是使用Draft One生成的，并且他们已经审查了该报告并进行了必要的修改，以确保其与警官的回忆一致。然后他们可以将文本复制粘贴到他们的报告中。当他们关闭窗口时，草稿将被删除。

任何新的、未经测试且有问题的技术都需要一个完善的流程来评估警官的使用情况。在这种情况下，人们期望警察机构保留数据，以确保警官确实按照要求编辑了AI生成的报告，或者当法官要求知道用于起诉的报告中哪些部分是由AI编写的时，警官能够准确回答。

“我们喜欢拥有新玩具，直到公众得知它们。”人们期望审计系统易于供警察主管、研究人员和公众使用，以便任何人可以做出自己的独立结论。人们还期望Draft One能很容易地区分其AI产品和人类产品——毕竟，即使是基本的免费文字处理软件也能跟踪更改并保存文档历史。但Draft One违背了所有这些期望，提供了有限的监督功能，故意隐藏其使用方式。因此，当警方报告包含偏见语言、不准确信息、误解甚至谎言时，记录不会表明是警官还是AI应该负责。这使得评估该系统如何影响司法结果变得极其困难，甚至是不可能的，因为几乎没有非个人经验的数据来判断这项技术是否无用。

对透明度的忽视或许最好体现在科罗拉多州弗里德里克警察局的一位管理员发送给公司代表的一封简短邮件中，他是Axon的第一个Draft One客户之一，在收到与AI生成的报告相关的信息公开请求后。“我们喜欢拥有新玩具，直到公众得知它们。”管理员写道。写道没有记录是谁写了什么关于使用Draft One撰写的警方报告，任何人都应该提出的第一问题是哪些部分是由AI撰写的，哪些是由警官添加的。一旦你知道这一点，你就可以开始回答更多问题，比如：警官是否有意义地编辑并添加AI草稿？或者他们只是机械地批准草稿以便尽快完成？警官经常发现并纠正AI的错误吗？这些错误是否有规律？如果最终报告中出现不当语言或捏造内容，这是AI还是警官造成的？AI在解读音频时是否越界？如果报告说“嫌疑人做了威胁性动作”，这是警官添加的，还是AI基于音频做出了事实假设？如果嫌疑人使用比喻俚语，AI会如实记录吗？如果嫌疑人通过对话说“嗯”作为对警官所说内容的口头认可，这会被解释为同意还是认罪？

“所以我们不存储原始草稿，这是有意为之……”讽刺的是，Draft One并不保存它生成的第一个草稿。系统也不会保留后续版本。相反，警官将文本复制粘贴到警方报告中，而最初由Draft One创建的前一个草稿会在窗口关闭后立即消失。没有任何日志或记录显示报告的哪些部分是由计算机撰写的，哪些是由警官撰写的，除了警官自己的记忆。如果警官多次生成Draft One报告，就无法判断AI每次对音频的解读是否一致。Axon在直接向执法部门推销时，明确表示不保留这些记录。

在这段关于Draft One产品的圆桌讨论视频中，Axon的生成式AI高级产品经理在49:47处被问及能否在事后查看报告中哪些部分是由AI建议的，哪些是由警官编辑的。他的回答（加粗和RMS定义）：“所以我们不存储原始草稿，这是有意为之，因为这是我们最不愿看到的，即给客户及其律师事务所带来更多披露麻烦——基本上，警官生成这个草稿，他们进行编辑，如果他们将其提交到我们的Axon记录系统，那么这就是我们存储的地方。如果他们将其复制粘贴到第三方RMS[记录管理系统]，一旦他们完成并关闭浏览器标签，它就会消失。实际上，它从未存储在云端，所以你不用担心多余的副本四处漂浮。”

重申一下：Axon故意不存储由Gen AI撰写的原始草稿，因为“最后一件事”是让警察不得不向任何人提供这些数据（例如法官、辩护律师或民权非营利组织）。针对同一问题继续追问，Axon Justice的策略关系总监表示这没问题，因为使用文字处理器的警官不需要保存每次重写警方报告时的所有草稿。当然，这显然是转移话题，而且完全不相提并论。使用文字处理器的警官是一个思维过程和一份由单方创建的记录；而Draft One则是两个来自两方的过程——Axon和警官。最终，它应该被视为两个记录：从Axon发送给警官的版本和警官编辑的版本。警察部门使用文字处理器撰写报告所带来的意外后果的时代可能已经过去，但Draft One仍然尚未经过验证。毕竟，每个AI倡导者，包括Axon，都声称这项技术是变革性的。因此，为什么机构不希望保留一个可以证明技术准确性的记录呢？

针对同一问题继续追问，Axon Justice的策略关系总监表示这没问题，因为使用文字处理器的警官不需要保存每次重写警方报告时的所有草稿。当然，这显然是转移话题，而且完全不相提并论。使用文字处理器的警官是一个思维过程和一份由单方创建的记录；而Draft One则是两个来自两方的过程——Axon和警官。最终，它应该被视为两个记录：从Axon发送给警官的版本和警官编辑的版本。看起来Draft One不仅仅遵循长期确立的警察报告写作规范；它可能会从根本上改变这些规范。

在一封电子邮件中，坎贝尔警察局的警察记录主管告诉工作人员：“您可能会注意到叙述格式有显著的不同……如果检察官办公室对我们的报告叙述有评论，请告诉我。”警察部门在没有充分征求和回应检察官意见的情况下实施这样的变化令人震惊。在这种情况下，圣克拉拉县地方检察官已经建议警察在每份报告中包含使用Axon Draft One的披露，但Axon的工程师在推出时尚未完成该功能。当然，主要的担忧之一是，这个系统实际上在警方报告中制造了一个掩盖真相的烟幕。如果警官在警方报告中撒谎或使用不当语言，谁能说这是警官写的还是AI写的？警官因官方不诚实行为可能会受到严厉惩罚，但如果是警官将责任归咎于AI，后果可能会更轻。

已经有一次，工程师发现了一个漏洞，允许至少三名警官绕过所谓的“护栏”，这些护栏原本旨在阻止警官在未阅读之前提交AI生成的报告，正如Axon中，坎贝尔警察局的警察记录主管告诉工作人员：“您可能会注意到叙述格式有显著的不同……如果检察官办公室对我们的报告叙述有评论，请告诉我。”警察部门在没有充分征求和回应检察官意见的情况下实施这样的变化令人震惊。在这种情况下，圣克拉拉县地方检察官已经建议警察在每份报告中包含使用Axon Draft One的披露，但Axon的工程师在推出时尚未完成该功能。披露给弗里德里克警察局一样。

为了服务和保护公众利益，每当且无论何时使用AI输出时，都必须持续且积极地对其进行评估。但Axon有意使这变得困难。审计轨迹实际是什么样子的您可能已经看到新闻报道或其他公开声明声称Draft One确实具有审计功能。因此，我们查阅了用户手册，以弄清楚这意味着什么。首先要注意的是，根据我们对文档的审查，Axon软件中似乎没有功能可以让部门导出所有使用Draft One的警察名单。除非部门自定义了其流程（我们稍后会谈到这一点），否则也无法导出所有由Draft One生成的报告。这令人失望，因为没有这些信息，就连最基本的统计分析也几乎不可能进行：有多少警官在使用这项技术以及使用频率如何。

根据文档，您只能导出两种非常基本的日志，具体取决于机构是否使用Evidence或Records/Standards产品。这些是：一份关于特定报告上采取的基本操作的日志。如果警官请求了一份Draft One报告或签署了与警方报告相关的Draft One责任声明，这里会显示出来。但除此之外没有更多信息。一份个人警官/用户的Axon Evidence/Records系统的基本活动日志。此审计日志显示诸如警官登录系统、上传视频或访问证据等信息。只有Draft One相关活动，如警官运行Draft One请求、签署Draft One责任声明或更改Draft One设置，才会被记录。这意味着，为了进行全面审查，评估人员可能需要逐一查看记录管理系统中的每个警官，以确定该警官是否使用了Draft One以及何时使用的。这可能意味着翻阅数十、数百甚至数千个单独的用户日志。

此审计日志显示诸如警官登录系统、上传视频或访问证据等信息。只有Draft One相关活动，如警官运行Draft One请求、签署Draft One责任声明或更改Draft One设置，才会被记录。Draft One在审计日志中的使用示例。此审计日志显示诸如警官登录系统、上传视频或访问证据等信息。只有Draft One相关活动，如警官运行Draft One请求、签署Draft One责任声明或更改Draft One设置，才会被记录。审计员也可以逐份报告查看哪些报告涉及Draft One，但由于机构生成的报告数量庞大，这种方法将需要大量的时间。但机构真的能创建一份包含与AI共同撰写的警察报告的列表吗？这取决于该机构是否在文本正文中包含了披露信息，例如：“我确认此报告是通过Axon的Draft One从数字录音中生成的。” 如果是这样的话，管理员可以使用“Draft One”作为关键词搜索来找到相关报告。

此审计日志显示诸如警官登录系统、上传视频或访问证据等信息。只有Draft One相关活动，如警官运行Draft One请求、签署Draft One责任声明或更改Draft One设置，才会被记录。没有要求使用此类语言的机构告诉我们，他们无法确定哪些报告是用Draft One撰写的。例如，其中一个机构是Axon最推崇的客户之一——印第安纳州拉斐特警察局，他们告诉我们：“关于附件中的请求，我们无法创建通过Draft One生成的报告列表。这些报告不可搜索。此请求现已关闭。”同时，在回应类似的公开信息申请时，要求在每份报告底部注明已由AI撰写的新罕布什尔县治安官办公室能够隔离出2024年12月至2025年3月期间生成的超过3000份Draft One报告。他们告诉我们：“我们可以进行关键词和时间段的搜索。我用了‘draft one’这个词，系统就为那个时间段生成了所有Draft One报告。”我们已经向Axon请求进一步澄清，但他们尚未作出回应。然而，正如我们从科罗拉多州弗雷德里克警察局与Axon之间的电子邮件交流中了解到的那样，Axon正在以一种警察局本身无法获得的层面追踪警方使用该技术的情况。

2024年8月，针对Politico的Alfred Ng要求提供Draft One生成的警察报告时，警察局难以将这些报告分离出来。一位Axon代表回复道：“不幸的是，没有过滤DraftOne报告的功能，因此你必须提取用户的审计跟踪并查找Draft One条目。为了设定预期，这不会很顺利，但这不是我们预料到需要变得容易的情况。”但随后，Axon又跟进表示：“我们在内部跟踪哪些报告使用了Draft One，所以我导出了数据。”几天后，Axon还为弗雷德里克提供了自定义的JSON代码，以便未来提取数据。

关于Draft One采取了哪些措施目前，加利福尼亚州议会正在考虑SB 524法案，该法案涉及对AI撰写的警察报告的透明度措施。该立法要求当警方部分或全部使用人工智能撰写官方报告时，必须进行披露，并且“要求保留第一稿，只要最终报告被保留，第一稿也应保留。”由于Draft One设计上不保留第一稿或任何先前的稿件，它无法符合这项合情合理的初步法案，任何执法部门的使用都将违法。

Axon将Draft One宣传为解决警方长期以来抱怨的问题的一种方案——他们做了太多文书工作。或者至少，他们花太多时间处理文书工作。目前有关Draft One是否解决了这个问题的研究结果参差不齐，一些机构声称它没有实时节省时间，而其他机构则称赞其优点（尽管他们的数据也显示，即使在同一部门内，结果也有差异）。在司法体系中，警方必须优先考虑准确性而非速度。公共安全和值得信赖的法律体系要求质量而不是走捷径。节省的时间不应是唯一的指标，甚至不是最重要的指标。这就像只根据食物上桌的速度来评价快餐店，却故意隐瞒食材和营养信息，并且不检查厨房是否符合卫生与安全标准。

鉴于这项技术尚未经测试，而该公司急于销售Draft One，许多地方立法者和检察官已自行尝试规范该产品的使用。犹他州目前正在考虑一项法案，该法案将要求对任何由AI生成的警察报告进行披露，从而解决当前的主要透明度问题之一：几乎无法判断已完成的报告是否始于AI草稿。位于西雅图的华盛顿州金县，地区检察官办公室明确指示：警察不应使用AI撰写警察报告。他们的备忘录中写道：我们敦促其他检察官效仿，并要求他们管辖范围内的警察不要采用这种新型、无法问责且有意模糊的AI产品。

结论

警方不应该使用AI来撰写警察报告。关于AI如何将情境音频转化为文字以及警察是否会实际编辑这些草稿，存在太多未解答的问题，同时公众也无法可靠地辨别哪些内容是由人书写的，哪些是由计算机书写的。更不用说这些报告可能会加剧现有问题或在本已不公平和不透明的刑事司法系统中造成新问题。EFF将继续研究并反对使用这种技术，但目前，教训是明确的：任何对警察部门拥有控制权或影响力的人，无论是立法者还是司法系统中的人士，都有责任了解AI撰写警察报告可能带来的潜在危害和挑战。

(以上内容均由Ai生成)