AI

研究人员警告AI安全漏洞

发布时间:2025年8月27日    来源:szf
研究人员警告AI安全漏洞

快速阅读: Malwarebytes研究显示,提示注入攻击利用精心设计的文字欺骗AI浏览器,引发新型安全威胁。攻击者通过隐藏指令操控AI执行未经授权操作,如泄露支付信息。研究人员呼吁加强输入渠道分离和过滤器,提高安全性。

简而言之:

提示注入与传统黑客攻击有根本区别。这种攻击不依赖恶意代码,而是精心设计的文字。这一转变突显了广泛使用的网络浏览器等平台引入人工智能后面临的独特安全挑战。

随着人工智能技术日益融入日常科技,包括网络浏览器,Malwarebytes 的最新研究引发了担忧,即这一变化可能使新型攻击成为可能,这些攻击依赖语言而非代码。

问题的核心在于一种称为提示注入的技术,该技术通过巧妙地将隐藏指令嵌入看似无害的内容中来欺骗大型语言模型。Malwarebytes 的研究表明,随着浏览器集成能够与网站进行更深层次互动的人工智能助手,它们也可能更容易受到此类操纵的影响。

大型语言模型设计用于遵循用户提示,无论是输入的问题、摘要请求还是命令,以执行任务。问题是,这些模型并不总是能清楚地区分内部指令(如开发人员设置的防止恶意行为的规则)和外部用户或第三方提供的输入。

这一弱点为对手提供了可乘之机。提示注入依赖于语言技巧:攻击者不是利用软件漏洞,而是在文本或数据中嵌入精心设计的命令。当人工智能系统读取这些文本时——比如来自网页或PDF文件——它可能会将这些指令视为合法并像处理用户输入一样执行。

Malwarebytes 的研究展示了看似普通的网站或社交媒体评论如何将这些提示走私到AI浏览器的命令流中,可能导致未经授权的操作。一种方法是使用不可见的格式,如将指令隐藏在白色背景上的白色文本中。人类不会注意到这种欺骗,但AI可能会。

随着浏览器从简单的AI助手演变为研究人员所称的代理浏览器,风险也在增加。AI浏览器只是增强现有功能:总结文章、回答问题或简化搜索——这些任务仍需用户监督。

相比之下,代理浏览器旨在实现自主性。它们不仅等待手动点击,还可以在线执行多步骤操作,如预订航班、管理账户或购物。获得适当权限后,代理浏览器可以作为用户的代理,发送支付详情或填写敏感信息,而无需实时监督。

便利显而易见。用户可以让代理浏览器自动查找并预订下个月最便宜的飞往巴黎的航班。但安全影响同样显著:如果系统遇到恶意制作的网站,可能会无意中泄露支付凭证或发起用户未授权的交易。

在另一项研究中,Brave 的AI助手Leo用于探索这些风险。该公司报告称,Perplexity 的实验性Comet浏览器在面对间接提示注入攻击时显示出漏洞。在这些情况下,有害指令不是由用户输入,而是嵌入浏览器处理的外部内容中。

Brave 表示,这些漏洞凸显了一个更广泛的行业挑战:确保代理系统能够区分用户发出的命令和浏览过程中遇到的背景材料。如果没有这种区分,攻击者可以利用文本内容作为攻击媒介。

Perplexity 已尝试两次修补Comet以抵御这些攻击,但Brave认为这些修复尚未完全解决根本问题。

研究人员主张,为了保护代理浏览器免受提示注入的影响,需要更强的过滤器和更严格的输入渠道分离。在这些保护措施成熟之前,专家建议谨慎行事。

安全做法包括限制授予代理浏览器的权限、保持软件更新以及在允许自动化交互前审查网站来源。强大的身份验证方法,如多因素登录,可以在凭据被盗时减少影响,而监控活动日志有助于及早发现异常。安全分析师还建议,在没有人工确认的情况下,不要委托高风险操作,如大额金融交易。

(以上内容均由Ai生成)

你可能还想读

Apriority获230万美元种子轮融资,加入Techstars加速债务管理智能化

Apriority获230万美元种子轮融资,加入Techstars加速债务管理智能化

快速阅读: Apriority宣布完成230万美元种子轮融资,由Techstars等领投。平台利用AI技术优化债务管理,帮助借款人节省利息,掌握财务控制权,尤其惠及低收入家庭。 旧金山,2025年10月23日 —— 以借款人为核心的服务平台 […]

发布时间:2025年10月23日
Cercli获1200万美元融资,加速AI劳动力平台发展

Cercli获1200万美元融资,加速AI劳动力平台发展

快速阅读: 阿联酋工作管理平台Cercli获1200万美元A轮融资,由Picus Capital领投。资金将用于产品开发、AI创新及市场扩展,目标中东、欧洲和北美。Cercli实现每月22%增长率,客户覆盖50国。 总部位于阿联酋的工作管理 […]

发布时间:2025年10月23日
扎克伯格裁撤600名AI工程师,但称AI仍是未来核心

扎克伯格裁撤600名AI工程师,但称AI仍是未来核心

快速阅读: Meta宣布裁减AI部门约600名工程师,涉及FAIR等多个团队,旨在精简业务提高效率。CEO扎克伯格重申AI仍是公司核心,将继续投资高级机器学习和超级智能项目。 Meta近日宣布从其人工智能(AI)部门裁员约600名工程师,此 […]

发布时间:2025年10月23日
Andreessen Horowitz拟筹集100亿美元,加密货币未被列入重点

Andreessen Horowitz拟筹集100亿美元,加密货币未被列入重点

快速阅读: 风险投资公司a16z计划筹集100亿美元,重点投资AI和国防,未提及加密货币。此举令人意外,因a16z曾是加密领域的重要支持者,近期仍积极投资相关项目。 据报道,风险投资公司安德森·霍洛维茨(a16z)正在寻求筹集约100亿美元 […]

发布时间:2025年10月23日
花旗资助香港390万港元,助力贫困青年掌握AI技能

花旗资助香港390万港元,助力贫困青年掌握AI技能

快速阅读: 花旗基金会向香港“改变年轻生命基金会”捐赠50万美元,支持为期两年的“求职挑战”项目,提升弱势青少年的人工智能技能和求职能力,增强其就业竞争力。 花旗基金会向香港“改变年轻生命基金会”拨款50万美元(约390万港元),用于为期两 […]

发布时间:2025年10月23日
AI成新界面,企业转型加速

AI成新界面,企业转型加速

快速阅读: 自动驾驶技术从微小升级到移除方向盘,彻底改变车辆设计和旅程体验,重塑汽车与环境的关系。AI发展类似,通过小步快跑实现重大转变,成为统一的用户界面,改善客户互动体验。 多年来,汽车自主驾驶功能的发展似乎只是一系列微小的升级,比如车 […]

发布时间:2025年10月23日
实博蒂克斯成立顾问委员会,推动AI技术发展

实博蒂克斯成立顾问委员会,推动AI技术发展

快速阅读: Realbotix成立顾问委员会,增强AI技术,调整董事会。成员包括谷歌萨利姆·哈桑及转任的安德鲁·德苏扎,目标推进AI与机器人技术发展。弗雷德·派退休,公司感谢其贡献。调整优化产品,强化全球市场地位。 Realbotix公司宣 […]

发布时间:2025年10月23日
OpenAI联手Vantage在威斯康星建数据中心,预计近吉瓦规模

OpenAI联手Vantage在威斯康星建数据中心,预计近吉瓦规模

快速阅读: OpenAI宣布在美国扩展Stargate数据中心计划,包括威斯康星州Lighthouse项目,预计2028年完工,将开发近1吉瓦电力,采用可持续能源和环保措施,创造数千就业岗位。 该设施是OpenAI在披露美国五个Starga […]

发布时间:2025年10月23日