AI 如何缩小我们的世界观
快速阅读: 据《黑客 Noon》最新报道，本文提出了一种理论框架，定义了“知识崩溃”现象，即过度依赖生成式人工智能可能导致知识长尾的减少。研究指出，应避免AI系统间的递归依赖，确保数据多样性，并提倡人类监督以纠正模型的局限性。这些建议有助于管理和减轻AI应用带来的负面影响。
我们提供了一个理论框架来定义“知识崩溃”，即对生成式人工智能（如大型语言模型）的依赖可能导致知识长尾的减少。我们的模拟研究表明，这种危害可以在一定程度上得到缓解，具体来说：(a) 我们认识到AI生成数据可能忽视的利基、专业和古怪视角的价值，并继续寻找这些视角；(b) AI系统之间不应递归相互依赖，就像当它们使用其他AI生成的内容作为输入或受到其他世代效应影响时那样；(c) AI生成的内容尽可能代表知识分布的全部。以上每个方面都为如何管理AI的应用提供了实际指导。首先，虽然我们的研究并不支持全面禁止AI模型，但应采取措施确保防止广泛或完全依赖于AI模型。对于每一百个只读一本书一两段摘要的人，应该有人花时间完整地阅读这本书，希望她能够提供有关其他地方出现的扭曲或简化的反馈。模型的一个扩展可能是允许世代变化，但内生化公共补贴以保护“长尾”知识的选择。这类似于政府通过支持学术和艺术项目来实现，否则这些项目可能因私人市场提供的不足而被忽视。保护信息多样性还意味着要关注AI应用对记者收入流的影响，他们不仅传播信息，还创造信息（例如，Cage，2016年）。其次，显然需要避免构建递归依赖的AI系统（例如，一个LLM或代理基于另一个AI生成的摘要提供答案等），从而玩LLM中介的“电话游戏”。至少，这要求有意识地区分人类生成的数据和AI生成的数据。通过精心设计的检索增强生成方法来保持对“未经过滤”的文本的访问，可以保留知识的长尾（Delile等人，2024年），也可以通过生成多个结果并重新排序（Li等人，2023年）来实现。最后，尽管最近很多关注集中在LLM误导性地将虚构内容呈现为事实的问题（幻觉），但这可能不如问题中的代表性重要。可验证的具体事实的幻觉通常很容易纠正。然而，许多现实世界的问题并没有明确的、可验证的真伪答案。如果用户询问例如，“通货膨胀是什么原因造成的？”而LLM回答“货币政策”，问题不在于幻觉，而在于未能反映对该问题所有可能答案的全貌，或者至少提供主要经济思想流派的概述。这可以在强化学习框架中从人类反馈中考虑相关方法，以塑造模型输出，因为人类倾向于更喜欢简单的单一答案而非那些代表多种观点的答案。在教育中使用AI时，尤其需要注意这一点，以确保学生不仅考虑AI生成答案的真实性，还要考虑其变异性、代表性和偏见，也就是说，它们在多大程度上代表了问题的所有可能答案的分布。
道格拉斯，S.J. 2002年。大众媒体：从1945年到现在。《后1945年美国伴侣》第78至95页。
艾森斯坦，E.L. 1980年。印刷机作为变革的媒介。剑桥大学出版社。
费斯廷格，L.；施赫特，S.；和巴克，K. 1950年。非正式群体中的社会压力；住房中的人类因素研究。英国牛津：哈珀出版社。页数：240。
菲舍尔，L. 2024年。英国政府将试行‘红盒’AI工具以提高部长效率。
高，C.；王，S.；李，S.；陈，J.；何，X.；雷，W.；李，B.；张，Y.；和江，P. 2023年。CIRS：通过反事实交互推荐系统打破过滤气泡。《ACM信息系统交易》42（1）：14:1至14:27。
双子座团队，G.；阿尼尔，R.；博热奥德，S.；吴，Y.；阿莱亚克，J.-B.；余，J.；索里库特，R.；沙尔克维克，J.；戴，A.M.；豪斯，A.等。2023年。双子座：一组高度多功能的模型。arXiv预印本arXiv:2312.11805。
格西，J.；沈，X.；耿，Y.；陈，Q.；和艾哈迈德，I. 2023年。利用特征偏差解释机器学习模型的可扩展误预测。在2023年IEEE/ACM第45届软件工程国际会议上，1559至1570页。ISSN：1558-1225。
戈登伯格，J.；利拜，B.；和穆勒，E. 2001年。网络上的谈话：复杂系统视角下的口碑传播过程。《营销通讯》12（3）：211至223。
古德费洛，I. 2016年。NIPS 2016教程：生成对抗网络。arXiv预印本arXiv:1701.00160。
格雷厄姆，R. 2023年。谷歌自动填充的伦理维度。《大数据与社会》10（1）：20539517231156518。出版商：SAGE出版社有限公司。
格赖斯，H.P. 1975年。逻辑与对话。在《言语行为》中。布里尔。41至58页。
格鲁希尔，D.；顾哈，R.；利本诺威尔，D.；和汤金斯，A. 2004年。博客空间中的信息扩散。世界万维网大会第13届国际会议论文集，491至501页。会议名称：WWW04：2004年世界万维网会议（与ACM电子商务会议[EC’04]联合举行）。
郭，Y.；尚，G.；瓦齐里吉安尼斯，M.；和克拉维尔，C. 2023年。语言模型训练合成文本的奇怪下降：语言多样性的减少。arXiv:2311.09807 [cs]。
哈克福德，R. 1972年。柏拉图：斐德若篇。剑桥大学出版社。
黑尔科普夫，E.A. 2019年。希腊的文字革命及其文化后果。普林斯顿大学出版社。
黑格尔，G.W.F. 2018年。黑格尔：精神现象学。牛津大学出版社。
海达里，A.；贾法里·纳维米波尔，N.；达格，H.；和乌纳尔，M. 2023年。使用深度学习方法检测深度伪造：一个系统的综合回顾。《学科交叉审查：数据挖掘和知识发现》e1520。
亨里奇，J. 2004年。人口统计学与文化进化：适应性文化进程如何产生非适应性损失——塔斯马尼亚案例。《美国考古学杂志》69（2）：197至214。
赫尔德，J.G. 2024年。人类历史哲学的思想。普林斯顿大学出版社。
霍夫曼，J.；博热奥德，S.；门施，A.；布卡茨卡娅，E.；蔡，T.；鲁瑟福德，E.；卡萨斯，D.d.L.；亨德里克斯，L.A.；韦尔布尔，J.；克拉克，A.等。2022年。训练计算最优的大语言模型。arXiv预印本arXiv:2203.15556。
霍尔茨曼，A.；布伊，J.；杜，L.；福布斯，M.；和崔，Y. 2020年。神经文本退化的奇怪案例。arXiv:1904.09751 [cs]。
贾米森，K.H.，和卡佩拉，J.N. 2008年。回声室：拉什·林鲍和保守媒体机构。牛津大学出版社。
姜，R.；基帕，S.；拉蒂莫尔，T.；格约尔，A.；和科利，P. 2019年。推荐系统中的退化反馈循环。在2019年AAAI/ACM人工智能、伦理和社会会议上，383至390页。
坎德拉尔，N.；邓，H.；罗伯茨，A.；华莱士，E.；和拉菲尔，C. 2023年。大型语言模型难以学习长尾知识。在第40届国际机器学习会议论文集中，15696至15707页。PMLR。ISSN：2640-3498。
康德，I. 1933年。纯粹理性批判（诺曼·肯普·史密斯译）。纽约：现代图书馆。
卡普兰，J.；麦坎德利什，S.；海尼根，T.；布朗，T.B.；棋，B.；儿童，R.；格雷，S.；拉德福德，A.；吴，J.；和阿莫迪，D. 2020年。神经语言模型的缩放定律。arXiv预印本arXiv:2001.08361。
卡尔拉斯，B.；道，D.；因特兰迪，M.；李，B.；舍特尔，S.；吴，W.；和张，C. 2022年。数据调试与端到端机器学习管道中的夏普重要性。arXiv:2204.11131 [cs]。
凯泽尔，M.A.，和马斯，M. 2022年。过滤气泡与意见极化的复杂联系。《数据科学》5（2）：139至166。
凯马克，W.O.，和麦克肯德里克，A.G. 1927年。对流行病数学理论的贡献。伦敦皇家学会会刊。系列A，包含数学和物理性质的论文115（772）：700至721。
霍达迪，M.；阿拉亚里，A.；瓦格诺兹齐，S.；和莫塔，D.F. 2020年。黑洞在事件视界望远镜下的标量毛发。《宇宙学与天体粒子物理学杂志》2020（09）：026。
克卢格，D.；秦，Y.；埃文斯，M.；和考夫曼，G. 2021年。欺骗与取悦。一项关于用户对TikTok算法假设的混合方法研究。在第13届ACM网络科学会议上，84至92页。
克拉玛，J.；利伯姆，T.；沙，R.；和南达，N. 2024年。AtP*：一种高效且可扩展的方法，用于将LLM行为定位到组件。arXiv:2403.00745 [cs]。
库恩，T.S. 1997年。科学革命的结构，第962卷。芝加哥大学出版社。
库恩斯特纳，P.；威尔姆斯，M.B.；魏希特，A.；高尔特，B.；雅格尔，E.A.；和拉贝，D. 2020年。通过增材制造制造高强度大马士革钢。《自然》582（7813）：515至519。出版商：自然出版集团。
莱顿，B. 1989年。巴西亚德斯在古代基督教思想中的意义。《代表》28：135至151。
李，H.；宁，Y.；廖，Z.；王，S.；李，X.L.；陆，X.；布拉曼，F.；赵，W.；崔，Y.；和任，X. 2023年。寻找长尾：通过逻辑规则引导搜索系统生成长尾知识。arXiv:2311.07237 [cs]。
林，A.；王，J.；朱，Z.；和卡弗利，J. 2022年。量化和减轻对话推荐系统中的流行度偏差。在第31届ACM信息与知识管理国际会议上，CIKM ’22，1238至1247页。纽约，美国：美国计算机协会。
曼海姆，K. 1952年。代际问题的社会学问题。《知识社会学论文集》306：163至195。
梅利斯，G.；格约尔，A.；和布鲁松，P. 2022年。互信息约束蒙特卡洛目标，以防止后验崩溃，特别是在语言建模中。《机器学习研究杂志》23（1）：75:3266至75:3301。
梅苏迪，A.，和怀特，A. 2008年。文化传递实验在理解人类文化进化中的多重作用。《皇家学会生物学科学哲学汇刊》363（1509）：3489。出版商：皇家学会。
莫克里，J. 2011年。雅典娜的礼物：知识经济的历史起源。《雅典娜的礼物》。普林斯顿大学出版社。
纳什，L.L. 1978年。存在的概念：希腊的世代思想起源。《代达罗斯》107（4）：1至21。出版商：麻省理工学院出版社。
纳泽尔，L.H.；扎塔拉，R.；瓦尔德里普，S.；柯，J.X.C.；莫克希贝尔，M.；汗纳，A.K.；希克伦，R.S.；莫克希贝尔，L.；莫克希贝尔，D.；马，H.；和马图尔，P. 2023年。人工智能算法中的偏见及缓解建议。《数字健康公共图书馆》2（6）：e0000278。出版商：公共科学图书馆。
内特尔，D.，和罗曼尼，S. 2000年。消失的声音：世界语言的灭绝。牛津大学出版社。
诺瓦克，A.；萨姆雷伊，J.；和拉坦，B. 1990年。从私人态度到公众舆论：社会影响的动态理论。《心理学评论》97（3）：362至376。地点：美国 出版商：美国心理学会。
昂，W.J. 2013年。口头性和文字性：第30周年纪念版。劳特利奇。
奥普达尔，A.L.；特斯塞姆，B.；当-丁，D.-T.；莫塔，E.；赛蒂，V.；特龙德森，E.；特韦伯格，A.；和特拉特纳，C. 2023年。通过人工智能实现可信新闻报道。《数据与知识工程》146：102182。
奥赖利，T. 2005年。什么是Web 2.0。
帕里瑟，E. 2011年。过滤气泡：互联网向你隐藏了什么。企鹅英国。
皮夫斯特，D. S. 2011。博客圈的逻各斯：占领区域、发明和注意力在洛特丑闻中的作用。《论证与辩护》47(3):141–162。
罗素，L. 等。2003。被遗忘的革命：科学如何在公元前300年诞生，并且为什么需要重新复兴。斯普林格科学与商业媒体。
西摩，L. M.；马拉格，J.；萨巴蒂尼，P.；迪·托马索，M.；韦弗，J. C.；和马西奇，A. 2023。热搅拌：对古罗马混凝土耐久性的机理见解。《科学进展》9(1):eadd1602。出版商：美国科学促进会。
沙玛，N.；廖，Q. V.；和肖，Z. 2024。生成回声室效应？LLM驱动的搜索系统对多样化信息检索的影响。arXiv:2402.05880 [cs]。
舒迈洛夫，I.；舒迈洛夫，Z.；赵，Y.；加尔，Y.；帕珀诺特，N.；和安德森，R. 2023。递归的诅咒：基于生成数据的训练使模型遗忘。
史密斯，L. 和索伦森，P. 2000。观察学习的不良后果。《计量经济学》68(2):371–398。在线版本链接：https://onlinelibrary.wiley.com/doi/pdf/10.1111/1468-0262.00113。
苏，Y.；兰，T.；王，Y.；优加塔马，D.；孔，L.；和科利尔，N. 2022。神经文本生成的对比框架。在Koyejo, S.；Mohamed, S.；Agarwal, A.；Belgrave, D.；Cho, K.；和Oh, A. 编辑，《神经信息处理系统进展》，第35卷，21548–21561页。库伦协会公司。
塔勒布，N. N. 2007。黑天鹅与统计学领域。《美国统计学家》。出版商：泰勒与弗朗西斯。
特沃斯基，A. 和卡尼曼，D. 1973。可用性：判断频率和概率的一种启发式方法。《认知心理学》5(2):207–232。
韦尔，P. 2008。重叠世代：第一个庆典。《经济展望杂志》22(4):115–134。
温德勒，C.；韦塞洛夫斯基，V.；莫内亚，G.；和韦斯特，R. 2024。美洲驼在英语中表现如何？多语言转换器的潜在语言。arXiv:2402.10588 [cs]。
吴，Z.；盖格，A.；伊卡德，T.；波茨，C.；和古德曼，N. 2023。可解释性规模化：识别阿帕卡模型中的因果机制。《神经信息处理系统进展》36:78205–78226。
吴，T. 2011。《大师开关：信息帝国的兴衰》。Vintage出版社。
萨莫拉·博纳利亚，J. P. 2006。科学观点与博弈论。《科学观点》14(4):525–557。
萨莫拉-博纳里亚，J. 2010。科学家玩什么游戏？博弈论方法下的理性和客观性在科学知识的社会建构中的应用。在苏亚雷斯，M.；多拉托，M.；和雷迪，M. 编辑，《EPSA科学哲学与方法论：欧洲科学哲学协会的成立》。多德雷赫特：斯普林格荷兰出版社。323–332。
萨莫拉·博纳利亚，J. P. 2006。科学观点与博弈论。《科学观点》14(4):525–557。
本文可在arXiv上以CC BY-NC-SA 4.0许可证获得。
(以上内容均由Ai生成)
