当机器想象时：承诺与风险

快速阅读: 据《印度论坛》最新报道，人工智能快速发展重塑数据分析，虽潜力巨大，但缺乏可靠性保证，易产生偏见和错误，需谨慎对待公共场合应用，强调理解风险及监测的重要性。

人工智能（AI）与机器学习（ML）正经历着革命性的进展，重新塑造了数据分析的格局。过去十五年间取得了显著进展，这得益于深度卷积网络（克里兹耶夫斯基等，2012年）、基于Transformer架构的基础模型（瓦斯万尼等，2017）以及大型语言模型（LLMs）（OpenAI，2022；哈萨比斯等，2023；图弗龙等，2023）。这一成功的关键在于海量可用的数据——涵盖视觉和文本数据——以及高性能计算的巨大进步，这些进步远远超过了十年前的水平。特别值得注意的是，这些AI模型能够以一种十年前难以想象的方式，在庞大且复杂的多模态数据中表示和概括概念。这些能力催生了创新的新途径，全球政府和私营实体加入了一场前所未有的竞赛，以构建新型应用。这些应用涵盖了从医疗、教育到生产力、商业、体育、新型用户界面、自主系统和武器，甚至创意领域如诗歌和艺术等多个领域。可能性似乎令人兴奋且无穷无尽，辨别AI生成的内容与真实内容变得越来越困难。

然而，也有一些注意事项。这些现代预测性和生成性AI系统与其他传统工程系统截然不同。即使在野外部署时，它们也很少——如果有的话——提供任何形式的正确性保证或错误容限，即使是概率上的。因此，它们在关键和面向公众的应用中的使用——即使有人类参与——引发关于可靠性和伦理方面的严重信任危机。即使是个人使用，尤其是对不够谨慎的用户而言，也需要格外小心和慎重。

**AI系统的演变**

**早期系统**

早期的AI系统主要基于规则。一个典型的例子是MYCIN，这是一种在1970年代开发的专家系统，协助医生选择抗菌疗法（肖特利夫，1975）。它展现了与人类专家相当的性能。然而，基于规则的系统未能获得广泛采用。它们依赖固定、预定义的规则，限制了灵活性，使得处理新颖或复杂场景变得困难。相比之下，当代由机器学习（ML）驱动的AI系统直接从数据中学习模式，能够在动态环境中实现更强的适应性和有效性。

**图1：前馈神经网络**

**图2：单个神经元的功能**

现代AI系统的核心是基于神经网络的（参见图1），令人惊讶的是，它们已经存在很长时间了。前馈神经网络中的每条边都关联有一个权重，每个神经元（参见图2）将其输入设为前一层输入总和乘以其权重，并计算出激活输出。在监督训练中，边的权重通过针对训练集中每个输入优化适当的“损失函数”来“学习”，该函数是对神经网络理想输出与计算出的最终输出之间差异的某种综合度量。杰弗里·E·辛顿因其“发现和发明使人工神经网络实现机器学习的基础工作”而与人共同获得了2024年诺贝尔物理学奖（他还于2018年获得了图灵奖），他是1986年提出“反向传播”算法论文的合著者之一，该算法至今仍是学习最优边权重的默认优化算法（Rumelhart等，1986）。然而，早期的神经网络并不太成功。人们认为，即使要表示一些适度的功能，内部权重的数量也必须非常大；而这反过来又需要大量的训练样本，使得学习在计算上不可行。

**卷积神经网络**

机器学习的下一个范式转变发生在近二十五年后。大约在2009年，费伊-费伊·李及其团队利用亚马逊机械土耳其人（亚马逊网络服务，2025）进行众包，建立了ImageNet（邓等，2009），这是一个包含超过一百万张标注图像的数据库，分为一千个类别，这极大地推动了图像识别领域的机器学习进展。亚历克斯·内特（克里兹耶夫斯基等，2012），由亚历克斯·克里兹耶夫斯基、伊利亚·苏茨克弗和杰弗里·辛顿构建的一个深层卷积神经网络，在2012年的ImageNet视觉识别挑战赛中通过实现难以置信的识别准确率突破了界限。亚历克斯·内特（见图3）在八层中有超过六千万个可学习参数，其中前五层是卷积层。卷积层（勒坤等，1998）包含一组过度确定的滤波器，用于检测图像特征。与之前手工制作一套特征用于图像识别任务的做法相比，卷积神经网络通过反向传播自动学习任务的最佳特征。由于使用了Nvidia图形处理单元（GPU）加速深度学习，可以对超过六千万个参数进行大规模的反向传播训练。

违背传统认知的是，这种超参数化——用超过六千万个参数来表示约一百万张图像的图像识别——显然未出现过拟合现象，且泛化效果良好。看来超参数化、网络深度以及一些其他技巧如随机梯度下降（使通过反向传播的训练过程变得杂乱，略微降低简洁性）和修正线性单元作为激活函数，实际上有助于成功完成网络训练。亚历克斯·内特的成功在接下来的十年里引发了大量关于图像识别、目标检测和图像生成的研究工作，使用了规模更大、更深的网络，有时甚至超过一百层。总体结果非常好，卷积神经网络如今已广泛应用（李等，2023）。

**变换器**

深度神经网络的下一个转折点是在2017年由瓦斯万尼等人提出的变换器架构（瓦斯万尼等，2017），这次是在自然语言表示的背景下。其‘多头注意力机制’通过识别相关短语和单词的重要性，能够将遥远文本中的上下文信息融入到单词或短语中。想象一下，你正在读一本长篇小说，想要理解其中某一句话。与其孤立地阅读这句话本身，大脑会自动查看其周围的其他相关句子。例如，如果这句话提到“他”，你可能会回过头去看前面的句子来弄清楚“他”指的是谁。变换器中的注意力机制的工作方式非常类似。考虑这样一句话：“我去了银行。” 变换器模型不会仅仅单独看“银行”这个词。相反，它会关注前后句中的其他单词。“河”、“钱”、“去”、“到”、“的”等每个单词（或关键词）都提供了各自的信息。变换器模型随后计算这些其他单词中哪些最有帮助，并分配“注意力权重”。例如，“河”是“河岸”的强线索，“钱”是“银行”的强线索。它会给最相关的词分配更高的“注意力权重”。最后，它使用从示例中学到的重要词语的实际含义，并将它们融合在一起。这种基于矩阵乘法技巧的创新成果出人意料地成功，使得像ChatGPT（OpenAI，2022）、Gemini（哈萨比斯等人，2023）、LLaMA（图弗龙等人，2023）等大型语言模型得以创建，这些模型具有令人惊讶的语言理解和生成能力。从语法到语义的转变在自然语言理解和合成中一直被认为是一个难题，但现在至少在实践上似乎已经解决了这个问题。事实上，这些基于变换器的大型语言模型的语义编码在很大程度上是语言独立的，这使得用少量语料库和极小的训练量进行新语言的翻译成为可能。同样的编码也使以新的风格或语言表达一个概念成为可能，有时甚至可以作为诗歌或创意艺术形式。因此，现在可以用威廉·华兹华斯的风格，也可以用米尔扎·加利卜的风格，将这个段落表达为诗歌（见图4）。它还支持语言和图像的联合编码，这有助于从图像生成口头描述或将文本合成图像。实际上，基于变换器架构的扩散模型已经将图像生成和合成提升到了一个新的高度（佩布尔斯与谢，2023）。五年前这是难以想象的。

目前的人工智能趋势是构建大规模的基于变换器的基础模型，用于语言、图像或两者兼有，通常使用非常大的数据集，这些数据集往往包括互联网上的几乎所有内容。这样的模型可以通过简单的提示调整来重新用于任何下游任务。人们相信基础模型中的丰富编码对于大多数应用来说已经足够完整了。有时还会使用一些额外的过程，如检索增强生成（RAG）（刘易斯等人，2020），以限制大型语言模型的输出，使其从权威知识库（例如医学或法律）生成文本，而这些知识库超出了其训练数据源。令人惊讶的是，即使这些模型包含超过一万亿个参数，它们也不会表现出经典的过拟合模式（张等人，2021）。相反，更大规模的数据训练出来的模型往往更容易优化并且表现更出色（阿尔拉等人，2018）。这些进展打开了令人难以置信的可能性——不仅适用于教育和个人使用，比如用新语言或创造性的方式表达自己，而且也适用于大规模公共服务。潜力巨大：寻找并总结重要的医疗或法律文件，准备简报、论点和报告，自动生成计算机程序，以及用本地语言和方言以口语形式提供关于福利计划、医疗保健、农业、市场、新闻和政治的信息。它们可以通过人们的母语进行自然对话，从而让互联网、医疗服务和政府服务更加普及。然而，我们仍然没有完全理解这些模型在更深理论层面上的工作原理。

除此之外，此类技术可以帮助缩小识字率和数字接入的差距，为当地企业家和小型企业提供更好的工具和见解，并通过快速多语言通信支持灾害响应。它们可以通过赋予那些因语言、残疾或缺乏正规教育而被排除在数字和机构系统之外的人们发言权来促进包容性。简而言之，它们拥有使技术真正民主化的潜力——服务于不仅仅是少数特权阶层，而是所有人。

然而，我们仍然没有完全理解这些模型在更深理论层面上的工作原理。这种理解的缺乏使得可靠地将其应用于如此广泛的应用场景变得具有挑战性，克服这一点需要进一步的研究。将一个基础语言模型适应完全不同语言或文化背景尤其复杂，特别是当可用的数字数据非常有限时。

**信任问题**

尽管机器学习应用前景广阔，但它们带来了显著的风险，因为它们常常没有正确性保证。一方面，它们可能会误导不够敏锐的用户，使辨别真实内容与伪造内容变得困难，或者使他们无法理解生成过程，从而削弱批判性思维。另一方面，即使是专家使用时，不准确的预测、分类或内容生成也可能带来严重威胁。研究表明，自动化偏见——即倾向于信任机器输出而非个人判断——普遍存在，即使是对医生和飞行员等受过专业训练的人来说也是如此。

此外，人工智能和机器学习系统在公共应用场景中容易产生歧视性结果。这些问题可能源于有偏见的数据、训练数据集中某些群体的代表性不足或算法焦点偏差，所有这些都会导致这些系统的不可靠性和不信任感。

**可靠性**

重要的是要认识到机器学习系统很少具备可靠性保证或错误容限。虽然它们通常会在训练后在一个单独的数据集上进行测试，但这种测试通常仅限于与系统训练数据相似的数据。然而，在现实世界中使用这些系统时，它们经常会遇到新的和不同的数据类型，而在实时使用中通常无法知道实际答案的情况下，没有可靠的方法来估计其预测的准确性。因此，机器学习系统往往缺乏外部验证。

机器学习的核心假设是在训练过程中看到的数据类型在部署时保持不变。但在现实中，这种情况很少发生。现实世界中的数据可能会因多种原因发生变化——测量工具的变化、不同用户或环境、人口统计学变化等。这些变化，被称为分布偏移，会对系统的性能造成严重影响（杨等人，2024）。检测系统是否面临未知（或分布外）数据本身就是一个难题，尤其是在系统已经部署之后。此外，每个部署地点通常都会带来新的挑战。收集足够可靠的全新数据来检查这些问题对于大多数部署地点来说可能是昂贵的，甚至是不可能的，因为这些地点可能缺乏必要的专业知识。此外，在许多机器学习应用中——无论是预测性的还是生成性的，特别是那些涉及图像或文本的应用中——很难甚至无法定义固定数据集之外所有可能输入的范围。这使得为输入分配概率分布变得不可能，从而关闭了基于概率演算的鲁棒性分析的可能性。如果没有对系统可能遇到的数据类型有清晰的认识，就极难预测错误或理解失败的原因。即使在现实世界场景中使用新数据集进行测试时，准确性或精确度等性能指标也无法揭示测试数据是否真正具有代表性，或者哪些类型的情况最可能导致问题。这使得对这些系统是否以及如何部署进行适当的伦理评估变得非常困难。

**内容生成的不确定性**

生成型大规模语言模型是通过一种称为自监督学习的方法进行训练的，其中系统根据前面的单词预测句子中的下一个单词。这种预测是由模型从海量训练数据中学到的模式以及特定提示所塑造的。重要的是，这些模型被训练成生成语义连贯的文本，而不是确保事实正确。任何看似正确的表现都是语言听起来可信和流畅的结果。然而，仅仅因为某事物听起来连贯并不意味着它是正确的。事实上，这些模型有时“幻觉”或生成虚假或误导性信息并不令人惊讶；它们没有这样做才是令人惊讶的。尝试使用传统的基于逻辑的技术从计算机科学的角度验证此类生成文本的正确性通常是计算上不可行的。这个过程过于复杂。

同样的限制也适用于人工智能生成的图像或声音：尽管它们看起来或听起来很有说服力，但评估其真实性或准确性仍然是一个重大挑战。

**图5：对抗性攻击示例。添加少量噪声可以将分类从熊猫改为长臂猿。（图片来自古德费洛等人，2015）**

机器学习系统容易受到对抗性攻击的影响。例如，有人可能会问，为了使给定的机器学习系统误分类输入图像，我们需要添加多少最小量的噪声？这个问题可以通过一个简单的优化算法获得答案（古德费洛等人，2015；穆萨维-德兹福利等人，2016），并且所需的噪声——在大多数情况下——出人意料地少（见图5）。这个例子表明，人类与机器学习系统内部编码的概念可能存在很大差异。对于人类来说，添加噪声前后的图像非常相似，但对于机器学习系统而言却相差甚远。很难准确描述这种加性噪声在现实世界中发生的可能性有多大，但显然人类和机器的失效点是不同的。这对人工智能部署提出了严重的伦理问题，特别是在自主系统中。

**公平性和偏见**

如果学习的数据包含这些偏见，人工智能系统可能会反映并放大社会偏见。即使未直接使用种姓、性别或宗教等受保护属性，人工智能模型仍可能通过捕捉间接信号或代理变量而产生歧视，导致不公平的结果，即所谓的差异影响（巴拉科斯等人，2023）。例如，一个人工智能工具可能总体显示错误率为3%，但对于某些少数群体的表现特别差，尤其是如果他们在训练数据中代表性不足的话。这是印度等多元社会中的一个主要问题，因为在这些社会中，很大一部分人口可能缺乏数字表示。试图通过改变数据、算法或输出来减少偏见通常会降低准确性且无法保证效果（霍特等人，2024）。简单地忽视受保护属性（“无意识的公平性”）也不起作用，因为隐藏的相关性仍然存在于训练模型中的冗余编码中。实际上，研究表明，在大多数现实条件下，除非底层数据位于一个狭窄且行为良好的无偏曲线内，否则不可能确保所有群体的公平性（克莱因伯格等人，2017）。

**人工智能的危害**

人工智能出现幻觉的例子不胜枚举：谷歌巴德在首次公开演示中错误地声称“詹姆斯·韦布太空望远镜拍摄了我们太阳系外的第一张行星照片”；教师使用ChatGPT错误地指责学生使用ChatGPT；微软的Bing错误陈述财务数据；律师使用ChatGPT引用虚构的法律先例；巴德和Bing希望地宣称以色列-哈马斯冲突停火，但实际上并没有；教授们使用由ChatGPT幻觉生成的参考文献来引用他们的研究等（吉尔汉姆，2024）。因不当使用AI而威胁批判性思维的现象已得到充分记录（维什诺伊，2025）。实际上，苹果公司研究人员最近的一项研究表明，流行的AI模型在复杂的推理问题上可能会崩溃（舒贾等人，2025）。人们难以想象不当推理或幻觉的医疗建议或诊断可能造成的后果。

还有大量关于AI算法中的偏见和歧视的例子（巴拉科斯等人，2023；汤姆森与托马斯，2023；联合国教科文组织，2022）。如果没有足够的严谨性和审慎态度，AI解决方案和应用很快就会退化为所谓的“AI蛇油”（纳拉亚南与卡普尔，2024）。

**结论**

现代人工智能令人振奋，无疑将对人类各项活动产生深远影响。其当前最佳应用在于探索性研究，在这里几乎没有损失，一切都可以收获；以及经过批判性思维训练的明智用户个人使用的场景下。然而，在公共场合应用AI——无论是完全自主的还是有人类参与的——都充满风险。也许最好的做法是理解和权衡这些风险，而不是盲目前行并通过代价高昂的试错来学习。唯一可靠的方式是通过部署后进行细致的测量与监控，同时深入了解目标人群、数据以及系统的行为特征。

(以上内容均由Ai生成)