研究发现:依赖AI学习可能使知识变浅薄
快速阅读: 自2022年底ChatGPT发布以来,数百万人使用大型语言模型获取知识。一项新研究表明,这种便捷可能削弱学习效果。研究显示,通过大型语言模型学习的人比通过谷歌搜索学习的人知识更浅薄,建议也更不具体。
自2022年底ChatGPT发布以来,数百万人开始使用大型语言模型来获取知识。其吸引力不难理解:提出问题,获得精炼的回答,继续前进——这感觉像是毫不费力的学习。
然而,我共同撰写的一篇新论文提供了实验证据,表明这种便利可能要付出代价:当人们依赖大型语言模型为他们总结某个主题的信息时,他们对该主题的知识往往比通过标准谷歌搜索学习的人浅薄。
我和共同作者Jin Ho Yun,都是市场营销学教授,在一篇基于七项研究、涉及超过1万名参与者的论文中报告了这一发现。
相关报道:更多人冒险从聊天机器人那里寻求医疗建议,这是为什么。
大多数研究采用了相同的基本范式:参与者被要求学习一个主题,例如如何种植菜园,并随机分配通过使用像ChatGPT这样的大型语言模型或以“传统方式”,通过导航链接使用标准谷歌搜索来学习。
对于这些工具的使用没有限制;他们可以在谷歌上搜索尽可能长的时间,也可以在感到需要更多信息时继续向ChatGPT提问。
以“传统方式”使用谷歌意味着更广泛的阅读。
一旦完成研究,参与者被要求根据所学内容向朋友提供该主题的建议。
数据显示了一致的模式:通过大型语言模型学习某主题的人比通过网络搜索学习的人感觉学到的东西更少,之后撰写建议时投入的努力也更少,最终写出的建议更短、更不具体、更泛泛而谈。
当这些建议呈现给独立样本的读者时,这些读者不知道学习该主题所使用的工具,他们认为这些建议信息量较少、帮助较小,采用的可能性也较低。
我们发现这些差异在各种情境下都很稳健。例如,大型语言模型用户之所以写出更简短、更泛泛的建议,一个可能的原因是大型语言模型的结果向用户展示的信息不如谷歌结果多样化。
为了排除这种可能性,我们进行了一个实验,让参与者在谷歌和ChatGPT搜索结果中接触到相同的事实集。
同样,在另一个实验中,我们保持搜索引擎不变——谷歌——并改变了参与者是从标准谷歌结果还是谷歌的AI概述功能中学习。
研究结果证实,即使在事实和平台相同的情况下,从综合的大型语言模型回应中学习也导致了较浅薄的知识,相比之下,自己通过标准网页链接收集、解读和综合信息则能获得更深入的知识。
为何重要
为何使用大型语言模型似乎会削弱学习?技能发展的基本原则之一是,当人们积极地接触他们试图学习的材料时,学习效果最好。
当我们通过谷歌搜索学习一个主题时,会遇到更多的“摩擦”:我们必须浏览不同的网页链接,阅读信息来源,并自行解读和综合它们。
尽管更具挑战性,但这种摩擦促使人们对当前的主题形成更深刻、更原创的心理表征。然而,使用大型语言模型时,整个过程由用户代理完成,将学习从更主动的过程转变为被动过程。
接下来怎么做
需要明确的是,我们并不认为解决这些问题的方法是避免使用大型语言模型,尤其是考虑到它们在许多情况下提供的不可否认的好处。
相反,我们的信息是,人们需要成为更明智或更有策略的大型语言模型使用者——这始于了解在哪些领域大型语言模型是有益的,而在哪些领域是有害的。
需要快速、准确的答案吗?可以自由使用你最喜欢的AI助手。但如果目标是在某个领域发展深入且广泛的知识,单靠大型语言模型的综合信息将不太有帮助。
想要更深入的理解吗?大型语言模型可能不是正确的选择。
作为我对新技术和新媒体心理学研究的一部分,我也对是否有可能使大型语言模型学习成为一个更主动的过程感兴趣。在另一项实验中,我们测试了这一点,让参与者与一个提供实时网页链接的专门GPT模型互动。
然而,我们发现,一旦参与者收到大型语言模型的总结,他们就没有动力深入原始来源。结果是,这些参与者仍然比使用标准谷歌的人获得了更浅薄的知识。
在此基础上,我计划未来的研究将聚焦于生成式人工智能工具,这些工具通过引入健康的学习障碍来促进学习任务——具体来说,就是研究哪些类型的保护措施或障碍最能有效激励用户超越简单的合成答案,主动学习更多知识。这类工具在中学教育中显得尤为重要,因为教育者面临的一大挑战是如何最佳地帮助学生掌握基础的读写和数学技能,同时为他们准备好一个大模型很可能会成为日常生活一部分的现实世界。《研究简报》是对有趣学术工作的简要介绍。作者是宾夕法尼亚大学营销学副教授什里·梅卢马德。本文转载自《对话》,采用知识共享许可协议。阅读原文。
(以上内容均由Ai生成)