宾大研究揭示对 AI 越 “粗鲁”，答案越精准!

快速阅读: 宾夕法尼亚州立大学研究发现，使用直白或粗鲁语气向GPT-4o提问，其回答准确性高于礼貌提问，分别为84.8%和80.8%。研究认为，直接提问使模型更专注于问题核心，而早期模型则偏好礼貌提问。

宾夕法尼亚州立大学最近发布了一项引人注目的研究,标题为《Mind Your Tone》,探讨了与大语言模型互动时提问方式对回答准确性的影响。研究显示,使用直白甚至粗鲁的语气进行提问,往往能够获得比礼貌表达更准确的答案。

为此,研究团队设计了一个包含50道中等难度选择题的测试集,题目涵盖了数学、科学和历史等多个领域。针对每道题,研究人员准备了五种不同的提问方式。

研究的对象是 OpenAI 最新 的 GPT-4o 模型。为了确保实验的客观性,研究者要求模型忽略先前对话,仅输出选项字母作为答案。结果显示,当使用粗鲁语气提问时,GPT-4o 的正确率高达84.8%,而礼貌提问的准确率仅为80.8%,二者之间的差距达到4个百分点。

研究人员认为,过于客气的表达往往会掺杂大量不必要的修饰和客套,这些内容可能干扰模型抓取核心问题。而直接的提问方式虽然缺乏礼貌,却能使模型更集中于问题本身,从而提升回答的准确性。

需要注意的是,这一规律并不适用于所有 AI 模型。研究团队还对比了 GPT-3.5和 Llama2-70B 等较早期模型,发现这些模型对礼貌提问的反应更为积极,粗鲁语气反而可能导致回答质量下降。这说明,新一代模型在训练过程中接触了更多样化的提问语气数据,使其能够在非礼貌语境下保持或提升表现。

(以上内容均由Ai生成)