学校使用 AI 来监控孩子，希望防止暴力。我们的调查发现了安全风险
快速阅读: 据《在线邮件》最新报道，学校使用AI监控学生以预防暴力和心理危机，但引发隐私和安全争议。温哥华学区因技术泄露大量学生敏感文件而道歉，其中包括涉及LGBTQ+身份等信息。专家质疑AI监控对学生心理健康的实际成效，强调需平衡安全与隐私。
学校使用人工智能监控学生，希望能预防暴力事件的发生。我们的调查发现了安全风险。脸书 推特 电子邮件 电子邮件 电子邮件 WhatsApp 翻转板 fbmessenger 原生 2025年3月12日7:07 EDT，更新于 2025年3月12日7:07 EDT 美联社记者
一名学生向搜索引擎提问：“为什么我的男朋友打我？”另一名学生在一封未得到回应的爱的邮件中威胁要自杀。一名同性恋青少年在网上日记中坦白了与父母在同性恋问题上的挣扎，写道他们只是想做真实的自己。在每个案例以及成千上万个其他案例中，由人工智能驱动的监控软件立即通知了华盛顿州温哥华公立学校的工作人员。温哥华和其他许多地区的学区都转向技术手段，全天候监测学校发放的设备，以寻找任何危险迹象，因为他们面临着学生心理健康危机和枪击威胁。目标是保护儿童的安全，但这些工具引发了关于隐私和安全的严重问题——正如西雅图时报和美联社记者在通过记录请求了解学区的监控技术时，无意中获得了近3500份敏感且未经编辑的学生文件所证明的那样。
___教育报道协作组，一个由八个新闻机构组成的联盟，正在调查人工智能驱动的校园监控带来的意外后果。协作组成员包括AL.com、美联社、基督教科学箴言报、达拉斯晨报、赫钦格报告、爱达荷州教育新闻、南卡罗来纳州邮递员和西雅图时报。（插图由西雅图时报的加布里埃尔·坎帕纳里奥绘制）
___发布的文件显示，学生们不仅用这些笔记本电脑进行学业工作，还在应对个人生活中的焦虑。学生们写下了关于抑郁、心碎、自杀、成瘾、欺凌和饮食失调的内容。有诗歌、大学申请论文以及与人工智能聊天机器人角色扮演会话的摘录。温哥华学校的工作人员以及任何有权限访问这些文件的人都可以阅读所有内容。防火墙或密码未能保护这些文件，学生的姓名也未被隐去，网络安全专家警告说这是一个巨大的安全风险。监控工具通常帮助辅导员联系那些可能在沉默中挣扎的学生。但在温哥华的案例中，这清楚地提醒了美国学校中监控技术带来的意外后果。在某些情况下，这项技术暴露了LGBTQ+儿童的身份，并破坏了学生与学校工作人员之间的信任，同时未能完全保障学校的安全。
Gaggle安全管理公司开发了追踪温哥华学校学生在线活动的软件。该公司首席执行官兼创始人杰夫·帕特森表示，不监控孩子就像让他们在一个没有围栏或操场监督员的数字游乐场上游荡。全国大约有1500个学区使用Gaggle的软件来追踪约600万名学生的在线活动。它是众多公司之一，如GoGuardian和Securly，它们承诺通过人工智能辅助的网页监控来保护孩子的安全。Gaggle安全管理公司开发了追踪温哥华学校学生在线活动的软件。该公司首席执行官兼创始人杰夫·帕特森表示，不监控孩子就像让他们在一个没有围栏或操场监督员的数字游乐场上游荡。
自疫情以来，这种技术需求量很大，当时几乎每个孩子都获得了一台学校发放的平板电脑或笔记本电脑。根据美国参议院的一项调查，在2021年，超过7000所学校或学区使用了GoGuardian的监控产品。温哥华学校为泄露文件道歉。尽管如此，该学区仍强调Gaggle对于保护学生的福祉是必要的。“我认为我们无法用金钱衡量保护学生的价值，”温哥华Skyview高中的校长安迪·迈耶说。“只要我们得知此类情况并能够干预，我们就觉得这是非常积极的事情。”
该学区的一位家长黛西亚·福斯特赞扬了学校为保证学生安全所做的努力，但她也担心隐私问题。“这完全不好，”福斯特在得知学区无意中泄露了记录后说。“但我该怎么办？把我的孩子从学校拉出来吗？”福斯特表示，如果她的女儿的私人信息被泄露，她会感到愤怒。“同时，”她说，“我希望避免学校出现枪击事件或自杀事件。”
Gaggle使用机器学习算法扫描学生在学校发放的笔记本电脑或平板电脑上搜索或撰写的内容，每天24小时，或者每当他们在个人设备上登录学校账户时。温哥华最近签署的合同显示，2024年夏季签订的三年合同价格为328,036美元——大约相当于雇用一名额外辅导员的成本。该算法检测潜在的问题指标，如欺凌、自我伤害、自杀或校园暴力，然后发送截图给人工审核人员。如果Gaggle员工确认问题可能很严重，公司将通知学校。在紧急情况下，Gaggle会直接联系学校官员。在极少数无人接听的情况下，Gaggle可能会联系执法部门进行福利检查。
一位要求匿名的温哥华学校辅导员出于害怕报复而请求匿名，他说他们每月收到三到四个学生的Gaggle警报。在大约一半的案件中，学区会立即联系家长。“很多时候，家庭并不知情。我们为他们打开了求助的大门，”辅导员说。Gaggle“对预防自杀和自我伤害很有帮助，但一旦学生知道会被标记，他们会找到绕过的方法。”
西雅图时报和美联社记者看到了什么类型的写作触发了Gaggle的警报，他们在请求有关被标记内容的信息后查看了截图。Gaggle保存了触发每个警报的活动截图，并且学校官员不小心提供了链接，没有意识到这些链接没有密码保护。在得知记录无意中被记者获取后，Gaggle更新了其系统。现在，在72小时后，只有登录Gaggle账户的人才能查看截图。Gaggle表示这一功能已经在开发中，但尚未推广给每一位客户。该公司表示，在这72小时内，链接必须无需登录即可访问，以便紧急联系人——通常是深夜在手机上接收这些警报的人——能够快速响应。
在温哥华，监控技术标记了超过1000份与自杀相关的文档和近800份与暴力威胁相关的文档。虽然许多警报都很严重，但也有许多最终被证明是误报，比如一篇关于同意重要性的学生作文或朋友间的一次愚蠢对话。福斯特的女儿布莱恩，温哥华艺术与学术学院的高二学生，就是一个误报的例子。她在写了一篇包含轻微暴力场景的短篇故事后被叫到了校长办公室。“我很高兴他们对此很谨慎，但我也认为有点过度了，”布莱恩说。
学校官员坚持认为即使是较轻的情况或误报也需要发出警报，以确保潜在问题能够及时得到处理。“这让我有机会见到以前从未见过的学生，并建立联系，”Skyview高中的辅导员切勒·皮尔斯说。在2023年10月至2024年10月期间，近2200名学生——约占学区学生总人数的10%——触发了Gaggle警报。Bryn就读的温哥华艺术与学术学校，大约四分之一的学生的交流触发了Gaggle警报。尽管学校继续使用监控技术，但没有独立研究显示它能够显著降低学生的自杀率或减少暴力事件。2023年的一项RAND研究发现，关于AI监控的好处或风险，仅有极少的证据，并得出结论：“迄今为止，没有任何研究全面考察这些项目如何影响青少年自杀预防。”
报告共同作者、AI伦理研究员本杰明·布德罗表示：“如果你没有足够数量的心理健康顾问，发出更多的警报实际上不会改善自杀预防。”
在温哥华学校发布的截图中，至少有六名学生在写到自己是同性恋、跨性别者或正在经历性别不安时，可能被学校官员曝光。LGBTQ+学生比他们的同龄人更容易患上抑郁症和自杀念头，并倾向于将互联网作为寻求支持的途径。华盛顿大学教授凯蒂·皮尔斯说：“我们知道，尤其是那些处于孤立环境中的同性恋青年，绝对会把互联网当作救命稻草。”
在一张截图中，一名温哥华高中生在Google调查表中写道，他们遭受了跨性别歧视和种族主义欺凌。不清楚是谁创建了这个调查，但发起人曾错误地承诺保密：“我不是强制举报人，请告诉我全部真相。”当北卡罗来纳州达勒姆公立学校在2021年试点Gaggle时，调查显示大多数员工认为它很有帮助。但社区成员提出了担忧。一位LGBTQ+倡导者向教育委员会报告称，一个关于自我伤害的Gaggle警报导致一名学生被暴露给不支持的家庭环境。
达勒姆艺术学校的毕业生格伦·汤普森在他大四的一次董事会会议上发言。他的老师曾承诺对一项与心理健康相关的作业保持保密，但后来一名同学因披露私人信息而被Gaggle通知学校官员，这让他猝不及防。汤普森说，班上的任何人都不知道学校正在试点Gaggle。“你不能只是监视人们却不告诉他们。这是对安全和信任的严重侵犯，”现为大学生的汤普森在接受采访时说道。
在听到这些经历后，达勒姆教育委员会在2023年投票决定停止使用Gaggle。该地区最终认为，冒让学生曝光或破坏与成年人关系的风险并不值得。隐私和安全问题的争论很复杂，父母往往甚至不知道这是一个问题。华盛顿大学教授皮尔斯表示，在她儿子收到学校笔记本电脑之前签署学区负责任使用协议时，她不记得读过西雅图公立学校使用的Securly监控软件。即使家庭了解学校监控，他们也可能无法选择退出。
俄克拉荷马州奥沃索公立学校自2016年起使用Gaggle来监控课堂外的学生。多年来，有两个十几岁孩子的父亲提姆·赖兰德一直不知道学区正在使用Gaggle。他是在询问女儿是否可以带个人笔记本电脑上学而不是被迫使用学区提供的设备以保护隐私时才得知此事。学区拒绝了赖兰德的要求。
赖兰德的女儿佐伊得知Gaggle后，她说她感到非常“惊慌”，以至于她不再在Chromebook上搜索任何个人信息，甚至包括关于月经的问题。她不想因为“搜索女性部位”而被叫到办公室。“我太害怕了，不敢探究，”她说。
学校官员表示，他们不跟踪衡量这项技术效果的指标，但他们相信它已经拯救了生命。然而，仅仅依靠技术无法为所有学生营造一个安全的环境。2024年，奥沃索高中的非二元性别青少年内克斯·贝内迪克特在同学的持续欺凌后自杀身亡。随后，美国教育部民权办公室的调查发现，学区对一些家庭关于性骚扰的报告反应刻意忽视，主要是以同性恋欺凌的形式。
在2023-24学年，奥沃索学校收到了近1000个Gaggle警报，其中包括168个骚扰警报和281个自杀警报。当被问及为什么尽管有监控欺凌仍然存在时，技术执行总监拉塞尔·桑顿回答说：“这是管理层使用的工具之一。显然，一种工具不可能解决世界上的所有问题和欺凌。”
尽管存在风险，监控技术可以帮助教师在悲剧发生前进行干预。西雅图地区海恩斯学区的一名中学生可能正受到人口贩卖，她通过Gaggle与校园工作人员沟通，前校长苏珊·恩菲尔德说。“他们知道工作人员正在阅读他们写的内容，”恩菲尔德说，“这基本上就是这名学生寻求帮助的途径。”
然而，发展心理学研究表明，青少年拥有在线私人空间来探索自己的想法并寻求支持至关重要。“孩子们始终被成年人监督的想法——我认为这会让青少年很难发展私人生活，一个犯错的机会，一个经历困难情绪而不被成年人介入的空间，”AI伦理研究员布德罗说。Gaggle的帕特森说，学校发放的设备不是无限制自我探索的合适场所。如果这种探索走向黑暗，比如做出威胁，“学校将承担责任，”他说。“如果你想寻求开放自由表达，那真的不能在学校系统的计算机上实现。”
(以上内容均由Ai生成)
