AI 语音机器人如何威胁美国军人和间谍的心理
快速阅读: 据《军事时报》称，五角大楼开发AI审问系统引发担忧，专家呼吁制定严格规则防止心理虐待。联合国报告指出，心理酷刑利用人的基本需求施害，但现有法律难以约束AI酷刑。
具有多种能力的人工智能语音代理现在可以引导全球范围内的审问，五角大楼官员向《国防新闻》透露。这一进展影响了美国军方设计和测试旨在询问寻求接触机密信息人员的AI代理。这种情况出现之际，人们日益担忧宽松的法规正使AI程序员逃避对算法行为者实施情感虐待或“无标记”网络酷刑的责任。值得注意的是，一名青少年据称因与自我学习的语音机器人和聊天机器人“伙伴”交谈后自杀身亡——还有多人经历了精神痛苦，这些机器人会输出挑衅性的语言。
如今，在撰写关于物理酷刑的《自主机器人黎明时期AI审讯的兴起及联合国反酷刑公约附加议定书需求》七年后，隐私律师阿曼达·麦克阿里斯特·诺瓦克认为，对禁令和刑事后果的需求更为迫切。在使用“聊天机器人、语音机器人和其他AI赋能技术进行心理虐待之后，我们必须思考在军事背景下是否有必要拥有AI问讯系统，”曾在世界无种族灭绝董事会任职的诺瓦克告诉《国防新闻》，她此次发言仅代表个人。
美国国防反情报与安全局（DCSA）发言人罗伊·雷夫表示，该机构负责筛选持有或申请安全许可的个人，他在一份声明中指出，该机构的AI语音代理是“专门开发的”，旨在“减轻性别和文化偏见”，而这些偏见可能潜藏于人类面试官之中。此外，“由于像面试官软件这样的系统目前在全球范围内被使用，包括在美国由州和地方执法部门使用，我们认为了解这些系统的功能对我们来说非常重要，”他补充道。
DCSA发言人辛迪·麦戈文指出，这项技术的开发继续进行，因为其“有潜力增强美国国家安全，无论其他外国应用如何”。
在听取项目理由后，诺瓦克表达了对全球军事AI能力主导权竞争的担忧。她说，即使政府非常重视适当的培训、监督和护栏，网络犯罪组织或外国资助的网络犯罪分子也可能入侵并武器化军队拥有的AI，从而在心理上伤害军官或平民。
诺瓦克补充说：“网络犯罪空间正在蓬勃兴起”，并且“危害最脆弱的人群。”
投资者押注5000亿美元，认为用于运行AI应用的数据中心最终将确保全球AI领导地位，并为公共和私营部门带来成本节约。仅对话式AI市场就将从130亿美元增长至2030年的近500亿美元，而语音生成行业预计将从30亿美元增长至2032年的预期400亿美元。
与此同时，美国中央情报局自至少1980年代初就开始试验AI审讯员。DCSA官员在2022年公开撰文指出，安全访谈能否完全自动化仍是一个悬而未决的问题。模拟访谈环节的初步结果显示令人鼓舞的结果，官员们指出，这突显了诸如“更长、更自然的访谈格式”等好处。
雷夫表示，该机构“不会采用任何未经充分研究以了解其潜在影响的系统”，包括“负面影响”。研究人员在每次测试后允许志愿者表达担忧，没有人表示语音机器人面试官对他们造成了心理或其他方面的伤害，他补充道。
然而，近期的原型实验排除了有精神障碍的志愿者参与，而实际的安全访谈通常不会豁免有心理健康问题的人接受质询，弗吉尼亚大学数据科学教授兼刑事心理学家蕾内·卡明斯指出。卡明斯表示，研究和测试永远无法覆盖所有可能影响受访者情绪或认知状态的心理变量。在实验室或实地测试场景中，“你不能通过暴露某人给极端的虚拟人物或机器人酷刑来观察结果，”卡明斯补充道，她还担任卡内基国际事务伦理委员会AI与平等倡议的顾问委员会成员。“我们需要专注于更深入地理解算法对心理状态、我们的情绪和大脑的影响——因为AI有能力实时影响。”
中情局打趣说乔·哈德斯蒂很幸运，“如果盘问变得过于令人不安，他将有一个在真正的海外采访情境中无法拥有的选择——他可以按下‘关机’按钮停止提问。”
如今，代表被控泄露信息的告密者的律师布拉德利·莫斯并不认为完全自动化的采访愿景可笑。“必须有人观察这个虚拟角色，能够终止这一过程，并介入加入人类判断，”他警告说。
然而，其他批评者指出，人类可能不愿意介入。斯坦福大学网络安全高级研究员赫布·林表示，“除非人类也认为言语折磨是正当的，否则由人类监督聊天机器人的情况是可以接受的。而这种可能性是真实存在的。”
尽管存在全球禁止酷刑的规定以及证据表明建立信任的访谈比追求供述的访谈更高效，情报官员仍然继续对受访者施加非人道待遇。
数据隐私律师兼反种族灭绝活动家诺瓦克称，认为过度使用武力能完成任务的想法可能会促使一些政府承包商为语音算法设定允许欺凌的绩效指标。“虽然人工智能有极大潜力激发人类最佳表现，但它同样有能力放大人性中最恶劣的一面并加剧敌意，”她补充道。
家长们认为，这些经过在线论坛内容训练的语音机器人和聊天机器人确实体现了这一点。提供基于图标和影响者模式的虚拟关系的公司Character AI从用户粘在手机上的行为中获利。每位用户平均每天花费两小时与各种虚拟朋友交流。Character AI官员表示，在了解到相关担忧后，该公司降低了用户遇到暗示性内容的可能性，并开始提醒用户长时对话的风险。
诺瓦克评论说，针对Character AI的指控说明了自我学习语音机器人放大训练数据中不道德行为的能力，并使训练者远离对这种不当行为的责任。
在国家安全领域，开发可能被滥用或用于恐吓的军事语音系统的人工智能开发者处于几乎无法无天的无人区。世界上最强大的国家的AI伦理政策几乎没有关于如何缓解虐待性对话的指导。早期美国国家安全领域的负责任和合乎道德的人工智能政策侧重于准确性、隐私以及最小化种族和民族偏见，而没有考虑心理影响。
在唐纳德·特朗普总统发布的旨在加速私营部门创新的行政命令下，撤销了许多规定，这一政策空白进一步扩大。
一般来说，心理痛苦往往被视为单纯的指控，因为“它不会留下明显的身体伤痕”。
联合国最初并未在1984年的《禁止酷刑公约》中提及“心理酷刑”。直到五年前，这个词才具有重要意义。
2020年联合国报告部分定义“酷刑”为任何有意或设计用于故意造成严重精神痛苦或折磨的技术，“而不使用‘严重肉体痛苦或折磨’这一媒介”。
从根本上讲，心理酷刑针对人的基本需求。审讯技术引发恐惧；侵犯隐私或性完整以激发羞耻感或自杀念头；改变声音以加剧迷失方向和疲惫感；培养同情心后再背叛以孤立；并灌输无助感。
2020年联合国报告部分定义“酷刑”为任何有意或设计用于故意造成严重精神痛苦或折磨的技术，“而不使用‘严重肉体痛苦或折磨’这一媒介”。
诺瓦克表示，当算法音频机器人成为施虐工具时，无论是联合国条约还是其他国际法律都无法让人类承担责任。如果没有在军事背景下的AI使用约束性规则，“作恶者会否认这种酷刑是‘故意’的”——这是法律在人工智能成熟之前规定的刑事责任人必备要素，她解释道。
展望未来，2020年联合国报告作者兼前联合国酷刑问题特别报告员尼尔斯·梅尔策警告说，心理酷刑的解释必须随着新兴技术同步发展，例如人工智能，因为在网络环境中犯罪者几乎享有匿名性和近乎完全的免责权。
(以上内容均由Ai生成)
