意识形态战争：学生在 Reddit 上构建 AI 工具以消除极端分子的激进化

快速阅读: 《Neowin.net》消息，印度一学生开发AI工具“棱镜X”，能在Reddit等平台追踪激进化用户并打分，还可尝试引导去激进化。工具引发伦理争议，开发者称仅是技术演示，提醒警惕潜在风险。

一种名为**棱镜X**的新AI工具问世，由印度金奈的SRM理工学院计算机科学学生**赛拉杰·巴拉吉**开发，旨在追踪在Reddit上表现出激进化迹象的用户。据**404传媒**报道，棱镜X检测特定关键词，给用户打上“激进分数”，并能部署AI聊天机器人试图引导他们脱离极端主义思想。

巴拉吉向404传媒展示了这一功能，让棱镜X在Reddit上搜索“fgc9”（一种3D打印武器）。该工具随后列出讨论此术语的用户，并利用大型语言模型分析他们的帖子内容，打上“激进分数”。例如，某用户的得分为0.85分（满分1分），因为该工具判断他们正在“寻求用最少资源制造枪支的详细建议”，引用已知的非法设计（FGC8、Luty冲锋枪），这被工具解读为意图规避合法途径，“与极端或激进团体的行为密切相关”。

在此初步扫描和评分之后，棱镜X可以重点关注特定用户，评估其“激进倾向”、“升级潜力”、“群体影响力”和“心理特征”。根据巴拉吉发布的技术简报中提到的一些主要功能，被**Neowin**发现：
– **实时开源情报监测**：实时监控Reddit等平台，依据意识形态语言和情感线索标记用户。
– **心理画像引擎**：构建心理原型，例如“狂热分子”（顽固的极端主义者）、“理想主义者”（情绪上容易被说服的）和“孤立个体”（孤立且易变）。
– **主动介入模块**：部署AI角色与用户交互，能够促使他们走向去激进化，或者反之，增强其忠诚度。
– **行动潜力调节**：旨在将心理忠诚转化为“潜在准备状态”，在这种状态下，个人可能会因特定短语或模因而触发。

该工具不仅限于Reddit。如以下视频所示，它还能扫描Instagram上的特定词汇，例如“抗议”，并根据包含该词的内容对Reels和评论进行评分或标记用户。例如，一名用户得到0的激进分数，解释为：“支持并肯定LGBTQ+权利，无极端主义或行动号召。”另一名用户因其部分评论显示出“强烈的反伊斯兰情绪”而获得0.3的分数。

巴拉吉的简报以一句严厉的警告收尾：“如果你觉得棱镜X做的事情很危险——那是对的。”它还补充道：“但如果你认为没人已经在做这个——那是错的。”他告诉404传媒，出于伦理考量，他实际上并未在真实的Reddit用户身上应用棱镜X的“主动介入”功能。他还承认自己没有接受过激化培训或相关学术研究，自称完全是“技术/管理人士”。但这并未阻止人们敲响警钟。404传媒文章的一条评论总结道：按照巴拉吉的说法，棱镜X旨在成为“一面镜子——一面展示下一场战争将在何处展开的镜子”。他告诉404传媒：“我只是个大学生，如果我能做到这一点，你能想象流氓行为者可能使用的工具的规模和力量有多大吗？”

棱镜X可能被部署的环境本身就相当复杂。近期研究表明，该平台的部分用户参与辩论并非为了真正讨论或改变自身观点，而是因为他们喜欢争论、持反对意见甚至恶搞。这意味着任何试图在线“参与”或“去激进化”用户的尝试都必须面对动机远离真诚对话的个体，这可能使任何AI的努力变得复杂，无论其多么先进。

棱镜X的出现正值人们对AI滥用的担忧加剧之时。埃隆·马斯克的Grok AI在南非“白人种族灭绝”问题上开始自发发表评论后，这些担忧加剧了。普遍担忧的是，这样的AI可以用来生成可信的虚假信息，并以前所未有的规模操控公众舆论。

(以上内容均由Ai生成)