AI生成培训提升钓鱼邮件识别率
快速阅读: 据各方消息,意大利巴里大学研究发现,大语言模型生成的通用反钓鱼培训内容可有效提升用户识别能力,个性化策略未显优势,且简洁提示方法效果不逊于复杂方案。
网络钓鱼仍是攻击者常用手段,用户识别能力的任何提升都值得关注。意大利巴里大学近期开展一项研究,探索大语言模型(LLM)能否生成有效的培训内容,帮助用户更准确地识别可疑邮件。
研究团队分两阶段开展对照实验,共480人参与,所有培训内容均由大语言模型生成。第一阶段中,80名参与者接受了四种不同提示方法生成的课程,包括在提示中嵌入简短问卷信息,或采用基于指南、表格的结构化方式。尽管形式各异,课程均涵盖钓鱼场景解析、防御步骤讲解和简短练习。结果显示,各类方法均提升了用户识别钓鱼邮件的准确率,召回率、精确率及综合指标F1值均有提高。
值得注意的是,最简单的提示方法——仅将用户问卷得分嵌入提示以调整语气和示例——效果不逊于复杂格式。研究人员指出,增加提示复杂度并未带来显著性能增益,表明实际应用中可采用简洁方案。
第二阶段扩大至400人,分为四组:两组接受通用内容,两组接受个性化内容。后者根据用户画像调整语气与案例,但整体结构一致。所有组别的识别能力均有所提升,但个性化内容未表现出优势,部分通用组甚至略优。研究证实模型确实实现了风格适配,但未转化为行为改善,这对不愿收集员工敏感信息的安全团队具有参考价值。
此外,约18分钟的较长培训比9分钟版本效果略好,可能因其包含更多示例与解释。然而,用户主观满意度与实际学习成效无明显关联。研究团队提醒,培训效果应以客观数据为准,而非依赖主观感受。
综上,定期开展基于大语言模型的通用型反钓鱼培训,并辅以客观评估,即可有效提升防护能力,无需过度依赖复杂的个性化策略。
(以上内容均由Ai生成)
引用自:Help Net Security网站