AI 最了解，但前提是您同意它
快速阅读: 据《黑客 Noon》称，尽管人工智能能处理大量数据并提高生产力，但其广泛应用可能带来意外后果。文章指出，依赖人工智能生成的内容可能导致“知识崩溃”，忽视知识的长尾，从而损害创新和文化多样性。研究发现，在默认情况下，对人工智能生成内容给予20%的折扣，会使公众信念远离真相2.3倍。文章提出，人类可能通过主动寻求多样化知识来缓解这一问题，并探讨了潜在解决方案。
作者：(1) 安德鲁·J·彼得森（安德烈·J·彼得森），普瓦捷大学（[email protected]）。链接 目录 摘要 和 引言 相关工作 媒体、过滤气泡和回声室 网络效应与信息级联 模型崩溃 大型语言模型中的已知偏差 知识崩溃的模型结果 讨论与 参考文献 附录 比较 尾部 宽度 定义 知识崩溃
尽管人工智能有潜力处理大量数据，生成新的见解，并解锁更高的生产力，但其广泛应用可能带来意想不到的后果。我们确定了在何种条件下，通过降低获取某些知识获取方式的成本，人工智能可能会适得其反地损害公众的理解。虽然大型语言模型是在大量多样化数据上训练的，但它们自然会倾向于生成接近分布中心的输出。这通常是有用的，但如果广泛依赖递归的人工智能系统，可能会导致“知识崩溃”的过程，我们认为这可能损害创新和人类理解和文化丰富性。然而，与无法选择训练数据的人工智能模型不同，如果人类认为值得的话，可能会战略性地主动寻求多样化的知识形式。为了研究这一点，我们提供了一个简单的模型，在这个模型中，一个学习者或创新者的社区可以选择使用传统方法或依赖打折的人工智能辅助过程，并确定知识崩溃发生的条件。在我们的默认模型中，对人工智能生成内容给予20%的折扣，会导致公众信念比没有折扣时远离真相2.3倍远。最后，基于这些结果，我们考虑进一步的研究方向以抵消此类结果。
在生成型人工智能出现之前，所有文本和艺术作品都是由人类创作的，有时借助工具或计算机系统。然而，大型语言模型（大语言模型）能够近乎零人工努力地生成文本，以及生成图像、音频和视频的模型显示，人类接触到的数据可能会越来越多地被人工智能生成或辅助的过程所主导。研究人员注意到，人工智能模型在合成文本上的递归训练可能导致退化，称为“模型崩溃”（舒马洛夫等人，2023年）。我们关注的是与此担忧相反的问题，而是侧重于人工智能生成的内容和中介的信息访问如何影响人类社会知识分布的平衡效果。我们探讨在什么条件下，人工智能生成内容和人工智能中介的信息访问的兴起可能会损害人类思想、信息搜索和知识的未来。人工智能生成信息的初始影响可能是有限的，现有关于人工智能危害的工作正确地关注了“深度伪造”传播虚假信息（海达里等人，2023年）、人工智能算法中的偏见（纳泽尔等人，2023年）和政治误导信息（陈和舒，2023年）的直接影响。我们的关注点具有更长的时间跨度，探讨了广泛而非边缘应用的影响。研究人员和工程师正在构建各种系统，使人工智能可以调解我们与其他人类和信息源的体验。这些系统包括从向大型语言模型学习（陈、陈和林，2020年），使用大型语言模型排名或总结搜索结果（沙玛、利奥和肖，2024年），建议搜索术语或写作词汇（如传统的自动补全）（格雷厄姆，2023年；钟卡、迪佩韦恩和海尔，2023年），设计协作配对系统（鲍尔和刘易斯，2018年），基于大型语言模型的知识库完成（陈、拉兹尼夫斯基和韦库姆，2023年），解释政府数据（费舍尔，2024年）以及协助记者（奥普达尔等人，2023年），仅举其中几个例子。随着时间推移，对这些系统的依赖以及它们之间多方面的互动，可能会造成“递归诅咒效应”（舒马洛夫等人，2023年），即我们接触原始的人类知识多样性越来越受到部分且逐渐狭窄的观点的中介。随着基于大型语言模型系统的集成增加，训练数据中常见的某些流行来源或信仰可能会在公众心态（以及训练数据中）得到加强，而其他“长尾”想法则被忽视并最终被遗忘。这样的过程可能会被“回声室”或信息级联效应进一步加强，在这种情况下，反复接触这一受限的信息集会导致个人认为被忽视、未观察到的知识尾部价值不大。就人工智能可以大幅降低获取某些类型信息的成本而言，它可能会通过“街灯效应”进一步产生危害，即搜索量不成比例地集中在照明区域，不是因为那里更有可能找到钥匙，而是因为在那里寻找更容易。我们认为，由此导致的人类知识尾部的缩减将对多个方面的问题产生重大影响，包括公平性、多样性包容性、创新中的损失收益以及人类文化遗产的保存。然而，在我们的模拟模型中，我们也考虑到了人类在积极筛选信息来源方面可能是策略性的。如果我们认为，被人工智能生成内容忽视的知识领域中存在显著的价值，一些个体可能会投入额外的努力来实现这些收益，假设他们充分了解潜在的价值。这样的过程可能会被“回声室”或信息级联效应进一步加强，在这种情况下，反复接触这一受限的信息集会导致个人认为被忽视、未观察到的知识尾部价值不大。就人工智能可以大幅降低获取某些类型信息的成本而言，它可能会通过“街灯效应”进一步产生危害，即搜索量不成比例地集中在照明区域，不是因为那里更有可能找到钥匙，而是因为在那里寻找更容易。我们认为，由此导致的人类知识尾部的缩减将对多个方面的问题产生重大影响，包括公平性、多样性包容性、创新中的损失收益以及人类文化遗产的保存。
主要贡献概要
我们识别出一种动态机制，即尽管人工智能只是降低了获取某些类型信息的成本，但它仍可能导致“知识崩溃”，忽视知识的长尾并代代相传形成狭隘的视角。我们提供了一个正向知识溢出模型，在该模型中，个体决定是否依赖更便宜的人工智能技术或投资于全面分布的真实知识样本。我们研究了个体在何种条件下能足够了解以防止社会中的知识崩溃。最后，我们概述了可能的解决方案以防止人工智能时代的知识崩溃。本文可从arxiv上以CC BY-NC-SA 4.0许可证获得。
(以上内容均由Ai生成)
