观点 |ChatGPT 能理解我们是谁吗？

快速阅读: 据《斐济时报》最新报道，研究表明，ChatGPT-4无需特别训练即可依据文本评估人的五大人格特质，表现接近人类水平，但其过度自信和低置信度评分限制了实用性。研究呼吁改进测试方法并提升模型透明度，以扩大其在敏感领域的应用。

人类最持久的需求之一是渴望被理解。从古代哲学到现代心理学，这种对认可的渴望塑造了我们与他人互动的方式——如今也越来越多地影响着我们与机器的互动。随着人工智能的进步，对话与理解之间的界限变得越来越模糊。机器不仅能够回答我们的提问，还能理解我们是谁吗？这个问题正是人们对大型语言模型（LLMs）如ChatGPT日益关注的核心，尤其是它们仅凭我们写作方式就能识别性格特征的潜力。

最近，由帕特里齐娅·卡泰拉尼教授（米兰天主教圣心大学社会心理学系）和马可·皮亚斯特拉（帕维亚大学）进行的一项研究对此进行了测试。无需额外训练或示例，ChatGPT-4能否准确推断一个人的性格，使用基于五大人格特质模型（开放性、尽责性、外向性、宜人性和神经质）的大五人格特质模型？结果揭示了一些令人惊讶的优势和一些关键的弱点。

不仅仅是聊天机器人，像ChatGPT这样的大型语言模型早已融入日常生活，协助用户处理从写邮件到编程等多种任务。但它们“理解”用户的能力——而不仅仅是回应——可能在教育、心理健康和个人化AI助手等领域开辟新的机会。然而，要实现这一飞跃，AI必须在不针对每个新用户或情境重新编程的情况下可靠地解释个性。这就是这项研究的意义所在：它测试了ChatGPT-4是否能够在没有特殊培训的情况下评估心理档案。

从文本中解读个性

为了评估ChatGPT-4的能力，研究人员依赖于两个数据集。第一个是计算语言学的经典数据集，包含超过2400篇学生的作文。第二个来自近300名用户的X社交平台帖子。在这两种情况下，用户都完成了基于五大人格特质模型的性格测试。研究者给ChatGPT-4设定了一个“零样本”提示——没有示例，也没有微调——并要求按11分制为每种特质打分，同时给出一个置信度评分。然后将这些结果与最初的自我评价进行比较。

该模型表现得相当出色：考虑到没有针对此特定任务进行明确训练，ChatGPT-4评估五大人格特质的能力相当出色。但有一个问题：ChatGPT经常显得过于自信，基于过于宽泛的输入内容来评估特征，这让人对其作为工具的自我意识产生了怀疑。

潜力展望

ChatGPT-4的预测与自我评估的结果相似程度与人类研究中的发现相当。这很了不起，因为没有针对特定任务的训练。这表明像ChatGPT这样的模型能够捕捉到微妙的心理信号。然而，ChatGPT的置信度评分是另一回事。该模型经常对基于少量数据的估计赋予高置信度。基本上，它不知道自己不知道什么。这一局限性在准确性与透明度重要的任何领域都可能是一个风险。如果没有可靠的方法来判断何时文本“足够”用于分析，其实际应用仍然有限。这一点在招聘、治疗或教育等敏感领域尤为如此，因为在这些领域中错误的确定性可能导致严重后果。

下一步去哪里？

这项研究还引发了关于如何测试这些模型的问题。将AI生成的结果与自我评估进行比较是有用的，但并非万无一失——人们对自身特质的感知并不总是准确的。未来的研究应纳入经过编辑训练的人类评委的评估以改进基准。尽管这项研究专注于零样本性能，但可以通过提示链或RAG等技术来提高结果。然而，这需要更广泛的研究设计和更复杂的基础设施。

目前，ChatGPT-4非常有前景。它可以从文本中以一定程度的准确性评估性格特征——这一成就几年前是不可想象的。但在它能够可靠地判断何时有足够的信息，并承认自己缺乏信息之前，它仍然是一个研究工具而非心理预言家。

帕特里齐娅·卡泰拉尼教授是米兰天主教圣心大学社会心理学系的教授，同时也是该校心理学、法律与政策实验室（PsyLab）的负责人。她发表了超过130篇学术作品，并积极参与多个国际研究机构和咨询团队的工作。文中观点仅代表作者本人，不代表本媒体立场。

(以上内容均由Ai生成)