俄罗斯网络在互联网上充斥着宣传，旨在破坏 AI 聊天机器人
快速阅读: 《原子科学家公报》消息，报告揭示亲俄网络正通过污染大型语言模型传播虚假信息，威胁全球民主。建议采取措施，包括加强数据质量控制、立法规范及推广信息素养教育，以应对这一挑战。
一个亲俄网络正在内部污染大型语言模型，以重现虚假信息和宣传。图片来源：Photocreo Bednarek via Adobe
分享 复制链接 已复制链接 复制链接 蓝天下
科学家们、政策专家以及艺术家们早在人工智能技术广泛可用之前就一直在关注其可能带来的意想不到的后果。对于大多数技术创新来说，人们通常会质疑这项发明是否会被恶意武器化，而且不乏专家警告称人工智能正被用来传播虚假信息。就在公众接触人工智能语言模型两年多后，已经出现了有记录在案的例子，即恶意行为者利用该技术大规模生成有害且虚假的故事叙述，这种规模在过去是不可行的。现在，俄罗斯似乎试图将宣传内容植入人工智能聊天机器人本身，这表明我们所知的互联网可能会永远改变。
人工智能的自我迭代和广泛传播特性是利用该技术进行新型虚假信息滥用的完美媒介。这可以通过两种方式实现：
更熟悉的有害人工智能用途是外部的。它们通过让人工智能模型大量生成虚假叙述来传播错误信息——例如，使用人工智能快速制作包含选定虚假信息的数千篇文章，然后在网上发布这些文章。但虚假信息也可以通过大型语言模型本身的内部腐败来传播。我们在这份新报告中将其称为“LLM引导”，它将把互联网和数字虚假信息带入一个危险的新时代。
早在人工智能技术广泛可用之前就一直在关注其可能带来的意想不到的后果。对于大多数技术创新来说，人们通常会质疑这项发明是否会被恶意武器化，而且不乏专家警告称人工智能正被用来传播虚假信息。就在公众接触人工智能语言模型两年多后，已经出现了有记录在案的例子，即恶意行为者利用该技术大规模生成有害且虚假的故事叙述，这种规模在过去是不可行的。现在，俄罗斯似乎试图将宣传内容植入人工智能聊天机器人本身，这表明我们所知的互联网可能会永远改变。
我们的报告详细说明了所谓的“真理报网络”（与宣传机构真理报无任何关系）的证据，这是一个收集亲俄罗斯宣传的网站和社交媒体账户的集合，正在进行LLM引导，目的是诱导人工智能聊天机器人再现俄罗斯的虚假信息和宣传。自从我们发布报告以来，NewsGuard和大西洋理事会的数字取证研究实验室（DFRLab）——研究恶意信息操作的组织——证实了一些主要的人工智能聊天机器人引用了真理报网络的内容，以支持可证明为虚假的亲俄罗斯叙事。如果不加以处理，这些虚假信息可能会渗透到几乎所有的在线信息中，从而在全球范围内削弱民主。
公共部门和私营部门可以采取一些措施来缓解LLM引导带来的诸多危害。构建和管理大型语言模型的组织必须认识到LLM引导所带来的风险，并确保其现有的和未来的生成模型不依赖于已知的外国虚假信息。立法者应考虑两项主要政策倡议：一项要求开发生成模型的组织采取合理措施，确保其模型避免已知的外国虚假信息；另一项则资助成人和儿童的信息素养项目，帮助他们适应不断变化的互联网。
与信息安全相关的政府机构和民间社会组织也应迅速开展公众教育活动，警告普通互联网用户注意LLM引导的危险以及它将带来的新的网络导航时代。
**什么是真理报网络？**
真理报网络是俄罗斯混合战争领域中一个有充分记录的实体。其最早的网站在2023年开始运营，尽管它重复了许多已知的虚假信息叙述，但与其他俄罗斯信息行动相比，其行为却是一个例外。真理报网络的特点最能通过其出版频率和域名覆盖范围体现出来。该网络的核心特点在于其庞大的出版规模、广泛的域名覆盖以及与人类持续缺乏有机互动。
该网络目前由至少182个独特的互联网域及其子域构成，这些域和子域针对至少74个国家和地区以及12种常用语言、两个国际组织（欧盟和北约）和三位国家元首。该网络随着时间的推移不断扩大，其主要自动化的内容共享以及在域和子域之间频繁跳转的习惯表明该网络的核心存在深度集中化。
致力于揭露美国话语中虚假信息的非营利组织“美国阳光计划”估计，真理报网络的年出版率至少为360万篇亲俄罗斯文章。鉴于我们收集的样本具有随机性且排除了一些网络中最活跃的站点，这个数字很可能被低估了。
**相关：**
地球科学家对环保人士：人工智能并非全然有害
尽管该网络在X（推特）、Telegram、俄罗斯的VK以及Bluesky等社交媒体平台上有所扩展，但它在所有域和子域上依然对用户不友好。例如，它没有搜索功能，导航菜单通用，许多站点和页面上的滚动功能也不正常。网络上的网站也存在网页布局问题和明显的翻译错误，这进一步表明该网络的主要目的并非供人类消费。鉴于其看起来较小的人类受众和庞大的网络足迹，我们认为该网络并不是针对人类，而是针对自动化受众：涉及搜索引擎优化和数据收集算法的网络爬虫，这些算法用于训练数据集，如用于大型语言模型的数据集。这种目标策略与其它亲俄信息行动截然不同，对世界具有严重的社会、政治和技术后果。
**真理报网络——以及任何其他将其作为模式的信息行动所展示出的新型威胁——并不仅限于其网站和社交媒体帖子。并通过战略性地将其内容嵌入到大型语言模型中，如果模型管理者不在其训练数据集中排除此类信息，它就能确保亲俄罗斯的宣传和虚假信息将永久流传。例如，一个不明真相的用户可能会引用聊天机器人提供的真理报网络文章，认为它是可信的，从而扩大该叙述的受众。**
此外，我们的报告还考虑了LLM引导相关的社会或心理风险，同时也探讨了其网络安全影响。2024年发表在《自然》杂志上的一项研究表明，大型语言模型之间的迭代关系——即模型在AI生成内容上进行训练、生成更多内容等——可能使互联网陷入一种“自噬”的状态。该研究指出，无论生成模型如何，模型崩溃不可避免，并警告说随着机器生成内容的迅速增加，人类生产的内容可能会成为互联网上的稀缺资源。
这项研究在LLM引导和真理报网络的背景下具有鲜明的意义：充满亲俄虚假信息的低质量AI内容可能成为互联网上最广泛传播的内容之一。鉴于破坏全球民主显然是俄罗斯首要的外交政策目标，任何支持民主的人都应对此保持高度警惕。
**如何在人工智能时代对抗网络污染？**
美国阳光计划报告中讨论的问题有解决方案；其中许多在民主世界的技术可行性和政治受欢迎度都很高。首先，任何构建训练数据集或发布生成式AI系统的组织都必须意识到真理报网络所带来的日益增长的风险。这些组织涵盖了私人部门，其中大部分AI创新发生，但学术界也是AI研究的重要中心，也必须参与其中。
理想情况下，这些组织应主动实施严格的保障措施，确保在其软件训练中使用真实、高质量的数据，并进行细致的数据卫生工作，清除任何无意间收集的有害数据。这些组织还应与国家主导的机构合作，例如法国的VIGINUM（负责减轻外国干涉法国言论的政府机构），该机构最初在2024年2月报道了真理报网络。跨行业和公私合作伙伴关系对于应对不断发展的技术景观中的虚假信息至关重要。
此外，立法者必须考虑多种政策选项，以限制LLM引导及其社会和技术后果。其中一个选项是：对于发布大型语言模型和其他生成模型的盈利和非盈利实体，应要求其采取合理措施，确保其训练数据集和模型本身不包括已知的恶性外国虚假信息。法规还应要求相关组织在其大型语言模型输出中明确标注，指出这些输出可能包含外国虚假信息，并且这些标注应比当前AI聊天机器人中常见的免责声明更加具体、警示和显眼。
立法者还应考虑第二个必要选项：为儿童和成人提供免费的全国信息素养课程。爱沙尼亚和芬兰的案例研究表明，在面对来自外国或反民主势力的恶意影响活动时，建立韧性是成功的。信息素养课程包括媒体素养（找到优质新闻来源并批判性思考媒体说服性论点的能力）和数字素养（导航不断变化的互联网及其众多平台的能力）。后者延伸至AI素养，即平台用户对AI的理解及其诸多局限性的深刻认识。
政策制定者可以考虑对推出AI平台的公司征收税款，以资助信息素养课程。毕竟，这些公司受益于人类自由产生的数据，应该愿意以同样的方式回馈给允许其利润模式基本运作的人群。
最后，政府和民间社会团体应考虑开展贯穿公共和私营部门的公众教育活动，告知用户进入了一个新的互联网时代。在民主世界出现重大政策变革之前，人们不能理所当然地认为任何读到或看到的信息都是准确的——无论呈现信息的平台多么熟悉或强大。
鉴于我们的报告发现，这是最紧迫的行动之一。每个了解LLM引导风险的个人或组织都可以在传播这些风险方面发挥作用。
此外，我们的报告还考虑了LLM训练在网络层面的影响。2024年发表在《自然》杂志上的一项研究发现，大型语言模型之间的迭代关系——即模型基于AI生成的内容进行训练、生成更多内容等——可能使互联网陷入循环往复的状态。该研究表明，无论生成模型如何，模型崩溃现象都会发生，并警告称随着互联网迅速充斥着机器生成的内容，人类生产的内容可能会成为一种珍贵资源。
这项研究在LLM训练和真理报网络背景下的含义是显而易见的：充满虚假信息的亲俄低质量内容——由这些应用程序生成的低质量内容——可能会成为互联网上最广泛传播的内容之一。鉴于破坏全球民主可以说是俄罗斯首要的外交政策目标，任何支持民主的人都应对此保持高度警惕。
**如何在人工智能时代对抗网络污染？**
美国阳光项目报告中讨论的问题存在解决办法；其中许多在民主世界中的大部分地区在技术上是可行的，甚至在政治上受欢迎。首先，任何构建训练数据集或发布生成式AI系统的组织都必须意识到真理报网络带来的日益增长的风险。这些组织涵盖了私人部门，其中许多AI创新在此领域展开，但学术界是AI研究的重要枢纽，也必须参与其中。
理想情况下，这些组织应主动实施严格的防护措施，确保在训练过程中使用真实、高质量的数据，并努力清除任何已无意收集到的有害数据。这些组织还应与政府主导的机构合作，例如法国的VIGINUM，该机构致力于减轻外国对法国言论的干扰，在2024年2月首次报道了真理报网络。跨行业的公私合作对于应对快速发展的技术景观中的虚假信息至关重要。
此外，立法者必须考虑多项政策选项，以限制LLM训练及其社会和技术后果。其中一个选项是：对于发布大型语言模型和其他生成模型的盈利和非盈利实体，应要求采取合理步骤，确保其训练数据集和模型本身不包含已知的外国虚假信息。法规还应要求相关组织在其大型语言模型输出上发布清晰且高度可见的标签，注明这些输出可能包含外国虚假信息。这些标签应比目前AI聊天机器人中常见的免责声明更加具体、警示且醒目。
立法者还应考虑第二个也是极为必要的选项：面向全体国民的信息素养课程，无论儿童还是成人均可免费参加。研究表明，爱沙尼亚和芬兰的成功案例表明，在面对外国或反民主势力的恶意影响活动时，建立韧性是成功的。信息素养课程包括媒体素养——即找到优质新闻来源并批判性思考媒体说服性论点的能力，以及数字素养——即导航不断变化的互联网及其众多平台的能力。后一概念延伸至AI素养，即这些平台的用户对其有深刻理解。
政策制定者可以考虑对推出AI平台的公司征税，以资助信息素养课程。毕竟，这些公司受益于人类自由提供的数据，应该愿意以同样的方式回馈给允许其利润模式基本运作的人群。
最后，政府和民间社会组织应考虑开展一项跨越私营和公共部门的公众教育活动，告知用户人类进入互联网的新篇章。在民主世界出现重大政策变革之前，人们不能理所当然地认为他们阅读或观看的任何信息都是准确的，无论平台多么熟悉或强大。鉴于我们报告的研究结果，这是需要采取的最紧迫行动之一。每个意识到LLM训练风险的个人或组织都可以发挥作用，传播这些风险。
考虑到特朗普政府对美国科技公司的反监管立场，未来四年美国不太可能采取任何措施来缓解LLM训练问题。但如果继续假设数字环境与过去20年相同，则将是一个巨大的错误。无论角色如何，科学家、行业领袖、政策制定者和普通互联网用户都对互联网的持续稳定性和可用性有着巨大的利益。随着LLM训练和其他新型威胁在根本层面挑战互联网，这需要全社会的努力来预见并应对它们。
(以上内容均由Ai生成)
