谷歌报告揭示了威胁行为者目前如何使用生成式 AI

快速阅读: 《InfoQ 公司》消息，谷歌威胁情报小组发布报告，揭示生成式人工智能被APT和IO行为者滥用的情况。报告显示，AI虽提升攻击效率但未开发新能力，多数误用仍处于理论阶段。防御型AI机制正在发展中，帮助组织应对威胁。报告还提到，伊朗IO行为者占大部分相关内容生成活动。

谷歌威胁情报小组（GTIG）近期发布了一份关于生成式人工智能被恶意滥用的报告。该团队调查了高级持续性威胁（APT）和协调信息作战（IO）行为者使用的提示内容，发现这些行为者通过人工智能提升了工作效率，但尚未开发出全新的能力。谷歌团队指出，当前人工智能的许多误用仍停留在理论研究阶段，并未充分反映威胁行为者实际使用人工智能的情况。

谷歌团队分享了与Gemini互动的数据，GTIG团队写道：该报告强调了生成式人工智能的双重性质，既揭示了追踪误用行为的潜力，也展示了识别由试图利用大型语言模型（LLMs）的行为者带来的新兴威胁的能力。团队总结道：根据报告，攻击者正在利用人工智能改进网络钓鱼、虚假信息传播和恶意软件等策略，而防御型人工智能机制也在迅速发展，帮助组织识别并应对不断变化的威胁。

谷歌在讨论以人工智能为核心的常见威胁时，提到了一些基于公开可用提示的越狱尝试，但这些尝试均未能成功绕过Gemini的安全控制。虽然APT指代政府支持的黑客活动，包括网络间谍行动和破坏性计算机网络攻击，IO则指的是通过欺骗性和协调性方式影响在线受众的尝试，包括操控傀儡账号和评论轰炸等活动。根据谷歌的说法，政府支持的攻击者主要包括伊朗、中国、朝鲜以及在一定程度上的俄罗斯APT行为者。GTIG团队补充道：

Sublime Security创始人兼首席执行官乔希·坎德久评论道：Altrosyn联合创始人兼CDTECH董事乔舒·戈德温回复道：根据报告，IO行为者主要利用Gemini进行内容生成，包括创建人物形象和信息传递，以及翻译和本地化工作，其中伊朗IO行为者占据了所有IO行为者使用量的四分之三。完整报告可以作为PDF文件获取。

关于作者
雷纳托·洛西奥
显示更多
显示更少

—

**生成式人工智能的双重挑战与机遇**

谷歌威胁情报小组（GTIG）近日发布的一份报告揭示了生成式人工智能潜在的滥用问题，引起了广泛关注。这份报告聚焦于APT（高级持续性威胁）和IO（协调信息作战）行为者如何利用人工智能技术。尽管这些行为者借助AI显著提高了工作效率，但尚未开发出全新的攻击能力。谷歌团队认为，当前许多AI误用现象多为理论研究，尚未完全反映实际应用情况。

通过与Gemini的互动数据，GTIG团队进一步指出，生成式AI展现了其双面性——既能追踪误用行为，又能揭示新型威胁。团队总结称，APT和IO行为者正利用AI优化网络钓鱼、虚假信息传播及恶意软件等手段，而防御型AI机制也在同步发展，帮助组织更好地应对这些变化。

值得注意的是，尽管有部分行为者尝试通过公开提示“越狱”Gemini，但均未能成功突破其安全防线。APT通常指代政府支持的黑客活动，涉及网络间谍行动和破坏性网络攻击；而IO则专注于通过操纵舆论和信息流影响公众认知。谷歌提到的主要APT行为者包括伊朗、中国、朝鲜，以及在一定范围内的俄罗斯。

Sublime Security创始人乔希·坎德久和Altrosyn联合创始人乔舒·戈德温对报告作出积极评价。数据显示，IO行为者主要依赖Gemini进行内容创作，如人物形象塑造和信息传递，同时涉及翻译和本地化工作。其中，伊朗IO行为者占据了所有此类行为者的绝大部分比例。

完整报告现已开放下载，供各界人士深入研究。撰写本文的作者为雷纳托·洛西奥。

(以上内容均由Ai生成)