使用大型语言模型解释 androids 相关故事中的文本语料库：Ian McEwan 在生成式 AI 中的“像我这样的机器”
快速阅读: 据《Nature.com》称，聊天机器人是深度学习和自然语言处理（NLP）领域的突破，利用大型语言模型（LLM）生成新内容。这些模型通过Transformer架构在大量文本数据上预训练，能生成类似人类的文本。研究评估了由LLM驱动并经过小说《像我一样的机器》微调的聊天机器人，分析其准确性、理解力及一致性，以确定其在世界理解方面的困难和产生幻觉的倾向。
聊天机器人代表了深度学习和自然语言处理（NLP）领域的重大突破，体现了这些领域的最新发展。它们利用大型语言模型（LLM），这是生成式人工智能的一个组成部分。它涵盖了一部分专注于开发能够生成新内容（如图像、文本、音乐和视频）的模型和算法的人工智能。这与专为特定任务设计的传统人工智能模型不同，因为生成式人工智能旨在吸收和复制现有数据模式以创建新的独特输出（瓦里蒂米亚迪斯等，2020年），（特布兰奇等，2022年），（李等，2023年）。这项技术在计算机视觉领域找到了应用，例如，生成模型可以制造逼真的图像、修改现有图像或填充图像中的不完整部分。在自然语言处理（NLP）中，这些模型有助于语言翻译、文本创作，甚至开发能够进行类人互动的对话代理（哈克和鲁比娅，2023年）。此外，生成式人工智能扩展到艺术创作、数据增强以及合成数据或图像的生产。生成式人工智能是人工智能和深度学习（DL）的一个分支，主要集中在生成新颖独特的输出上，超越数据分析，基于学习的模式创造新的实体。在文本生成方面，像GPT-4这样的AI模型使用Transformer架构，并在庞大的文本数据集上进行预训练。这种训练对于它们学习语法、上下文和语义至关重要。当给定一个提示时，这些模型根据学习的模式预测下一个词或短语，从而生成类似人类的文本。由OpenAI开发并于2022年11月发布的ChatGPT是一种基于大型语言模型的聊天机器人。它通过人类反馈强化学习（RLHF）和奖励模型进行训练，这些模型对最佳响应进行排名（维尔格拉等，2022年）。ChatGPT用途广泛，可用于与用户交谈、回答问题、生成文本、翻译语言和撰写各种创意内容。语言模型的发展经历了显著的进步，从传统的统计方法过渡到更先进的深度学习技术（朱等，2022年），（阮和西多罗娃，2018年）。最初，语言模型依赖于n-gram和隐马尔可夫模型等统计方法（德伊等，2018年），（朱等，2023年）。这些方法对于语音识别、机器翻译和信息检索等任务的基础至关重要。然而，它们有局限性，特别是在处理自然语言的复杂性和变异性方面。例如，n-gram模型受限于其对固定长度词序列的依赖，导致难以捕捉文本中的长期依赖关系。深度学习的引入标志着语言模型范式的转变。神经网络，特别是循环神经网络（RNN）和长短期记忆（LSTM）网络，因其能够捕捉语言数据中的顺序关系而变得流行（巴格达萨里安，2023年）。RNN逐个元素地处理输入序列，保持一个隐藏状态，理论上可以保存所有先前元素的信息。LSTM作为RNN的扩展，特别有效，因为它可以长时间记住信息，有助于生成连贯的输出并缓解RNN常见的梯度消失问题。最近，基于注意力的方法，尤其是Transformer架构，崭露头角。与RNN和LSTM不同，Transformers不按顺序处理数据。相反，它们使用自注意力机制来衡量输入数据不同部分的重要性（赵等，2021年），（陶等，2023年）。这使得它们在生成输出时能够关注输入序列的相关部分，使其适用于涉及长序列和数据不同部分之间复杂关系的任务。在自然语言处理（NLP）领域，这一向深度学习，特别是Transformer模型的转变具有变革意义。BERT（来自Transformer的双向编码器表示）和GPT（生成式预训练Transformer）等模型树立了新的标准（李等，2023b年），（德乌什，2021年）。这些模型通过在广泛的文本语料库上进行大规模预训练，能够学习广泛的语言模式和上下文。此外，它们可以针对特定的NLP任务进行微调。注意力机制是Transformer模型的核心，重新定义了早期序列到序列模型中使用的编码器-解码器架构。在这种架构中，整个输入序列首先被编码成一个上下文向量，这是一个固定长度的表示，捕捉其本质。然后解码器逐步生成输出序列，使用这个上下文向量及其自身的内部状态。虽然这种方法对较短的序列有效，但对于较长的序列，由于固定长度的上下文向量容量有限，难以包含所有必要信息，这种方法存在困难。Transformer模型通过其自注意力机制解决了这一限制，允许模型回顾整个序列，从而更有效地捕捉长距离依赖关系（瓦萨尼等，2017年），（鲁等，2023年）。语言模型的发展，尤其是在编码器-解码器架构中引入注意力机制，显著提升了自然语言处理（NLP）中长输入序列的处理能力。固定长度编码的核心问题是其有限的容量，无法保留长输入序列中的所有相关信息，通常导致输出序列不够准确或不完整。为此，引入了注意力机制（索扬德，2022年），（布拉厄沃斯和弗拉斯因卡，2023年）。这些机制使模型在生成输出的每个部分时能够选择性地关注输入序列的不同部分。这种有针对性的方法允许模型更动态和上下文敏感地处理信息，使模型能够有效处理长序列而不丢失关键细节。在这个过程中计算的注意力得分确定输入的不同段落的相关性，上下文向量作为这些段落的加权和形成，权重基于注意力得分（牛等，2021年）。基于Transformer的大型语言模型（LLM）显著推进了自然语言处理（NLP）领域。这些模型，以OpenAI的GPT系列为例，使用包含注意力机制和位置编码的Transformer架构构建。Transformer架构首次在瓦萨尼等人于2017年发表的论文《注意力就是你所需要的》中提出（瓦萨尼等，2017年），为高级LLM的发展奠定了基础。我们分析的小说中有一个名为亚当的安卓，他是查理拥有的。尽管亚当声称“爱”着同一个女人，与查理有着共同的目标，比如买房和领养孩子，但他却违背了主人的利益。这种行为突显了安卓对世界的根本误解。本文的目的是评估由LLM驱动并经过小说《像我一样的机器》未结构化文本微调的聊天机器人如何将其作为提示的各种问题解释。研究包括创建一个专门用LangChain编排的OpenAI聊天机器人，用于评估小说内容。重点在于评估聊天机器人的准确性、对世界的理解水平以及答案的一致性。目标是确定聊天机器人，就像小说中的亚当角色一样，在世界理解方面遇到的困难，以及它们产生幻觉倾向如何影响其正确理解和回应文本输入的能力。
(以上内容均由Ai生成)
