深度学习和句子嵌入,用于检测在线内容中的点击诱饵新闻
快速阅读: 据《Nature.com》称,研究通过ROC曲线和折线图对比机器学习、集成学习及深度学习模型性能。LR模型在传统ML中表现最优,RF在集成学习中更出色。深度学习中,BiLSTM结合句子嵌入达到88%准确性,优于其他嵌入方法。
通过机器学习(ML)模型的受试者工作特性(ROC)曲线以及深度学习(DL)模型的折线图,对机器学习模型、集成学习模型和深度学习模型进行了比较分析。ROC曲线用于评估模型性能,并通过跨数据集对比不同模型的真正例率和假正例率,同时计算曲线下面积(AUC)以概括ROC曲线的整体表现。
图10展示了带有TF-IDF特征的ML模型的ROC曲线,结果显示逻辑回归(LR)模型在检测标题党标题方面表现尤为突出。传统机器学习模型采用TF-IDF特征的AUC分数显示,LR模型的表现优于其他所有模型。图11展示了带有词性标注(POS标记)的ML模型的ROC曲线,LR模型凭借约0.79的AUC取得了最佳效果。POS标记能够有效揭示新闻标题的句法结构,从而有助于识别标题党模式。
图12展示了带有TF-IDF的集成学习模型的ROC曲线,结果显示随机森林(RF)在识别标题党标题及误导性信息检测方面表现出色。图13展示了带有词性标注的集成学习模型的ROC曲线,RF在识别新闻标题党方面达到了所有其他模型中的最高值。通过采用多种弱学习器的集成方法,这些模型显著提升了从标题党标题中提取语言模式的能力。
折线图是一种通过点和直线连接来表示数据的图形形式,可用于展示时间序列数据的变化或比较各类别或组别的相对表现。图51展示了双向长短时记忆网络(BiLSTM)与Word2Vec、Glove及句子嵌入模型的准确性折线图,表明各模型的准确性存在差异,便于读者了解哪个模型最准确。
图14展示了LSTM模型三种嵌入特征的准确性折线图,图15展示了BiLSTM模型三种嵌入特征的准确性折线图。LSTM的结果以图中线条形式呈现,展示了Word2Vec、Glove及句子嵌入方法的模型结果。特别是当Word2Vec达到77%,Glove达到82%时,准确性呈稳步上升趋势,在达到句子嵌入方法峰值85%之前保持稳定增长。该BiLSTM折线图展示了词嵌入策略对标题党新闻检测性能指标的影响,应用高级词表示时,模型的准确性稳步提升。Word2Vec嵌入使BiLSTM达到80%的准确性,因其方向性处理,略优于LSTM模型。预训练Glove嵌入的应用实现了83%的准确性,展现了其在理解词关系方面的强大能力。最高性能出现在使用句子嵌入时,因其达到88%的准确性,超越了替代的上下文方法。预训练Glove嵌入的应用再次证明了其在理解词关系方面的卓越能力。
(以上内容均由Ai生成)