从 LLM 到 Agentic AI — 解决信任和可解释性问题 |埃贝

快速阅读: 《JD Supra》消息，法律周2025会议探讨了信任人工智能的核心问题，包括一致性行为、幻觉错误及能动型AI的局限性。与会专家强调了伦理、透明度、准确性和质量控制的重要性，建议通过基准测试和多角度验证增强AI信任，同时呼吁建立行业标准和生态系统支持。

法律周2025会议回顾
何谓信任人工智能？根据人工智能专家罗恩·布拉赫曼的说法：“这意味着技术在一段时间内表现出一致的行为。”

信任是任何成功部署人工智能的核心。如果没有信任，用户和利益相关者不太可能接受人工智能技术，无论其当前和未来的益处如何。

何谓信任人工智能？根据人工智能专家罗恩·布拉赫曼的说法：“这意味着技术在一段时间内表现出一致的行为。”

随着人工智能的不断发展，尤其是大型语言模型（LLM）和能动型人工智能（Agentic AI）的出现，信任仍然是首要考虑的问题，并且是Epiq在“从LLM到能动型AI——解决信任与可解释性”环节中讨论的重点。该环节由Epiq高级技术总监亚历克西斯·米切尔主持，以下为参与嘉宾：

信任人工智能意味着什么？根据人工智能专家罗恩·布拉赫曼的说法：“这意味着技术在一段时间内表现出一致的行为。”

康奈尔大学访问学者及施密特科学杰出访问科学家 罗恩·布拉赫曼
吉布森·邓恩律师事务所合伙人 艾莉森·科斯特卡
沙利文与克伦威尔律师事务所电子发现和诉讼支持主管 斯蒂芬·杜利
吉布森·邓恩律师事务所合伙人 艾莉森·科斯特卡
伊戈尔·拉布托夫，Epiq AI实验室副总裁，Epiq

超越幻觉
LLM可以提供可信的答案，但它们也可能生成看似合理但实际上包含细微错误的结果，这些错误通常被称为“幻觉”。伊戈尔·拉布托夫在演示环节中展示了这一点，他要求LLM撰写自己的简历，系统生成了完全虚构但令人信服的关联信息。虽然“幻觉”一词通常与LLM相关联，但这类混淆性错误存在于任何机器学习模型中，法律专业人士在使用TAR或其他第一代审阅技术时已经熟悉了这一点。正如拉布托夫所说：“现在面临的挑战是如何在处理更复杂的模型时建立信心和信任感。”

随后讨论转向最近的人工智能进展、推理模型和能动型人工智能。推理模型可以反思其输出结果，减少错误的可能性，但在处理大量文档集合方面仍有局限性。能动型人工智能通过使用工具采取行动并反馈来优化答案，模仿人类工作流程。

强调指出，能动型人工智能是一个广义术语，AI代理并不是单一实体，而是由解决方案提供商设计的复杂系统——系统的大部分不是AI部分，而是使代理能够与其他软件系统交互的脚手架和连接代码。这种架构提供了更大的灵活性以应对LLM的局限性。然而，这也使得在没有清晰了解其内部设计的情况下很难比较不同的能动型AI解决方案，而这一点对于适当的评估至关重要。当选择不同的代理系统时，拉布托夫指出：“尽管有众多不同的模型，它们在架构上本质上都非常相似。”

最常见的信任挑战

随着法律行业寻求接纳先进的人工智能并建立对其使用的信任，需要行业范围内的基准和协作来制定评估AI工具的标准。小组成员一致认为，当今行业面临的最常见“信任挑战”包括伦理与职业标准、可解释性和透明度、准确性和可靠性以及实际操作因素。斯蒂芬·杜利强调，可解释性和透明度对于不仅保护解决方案及其整个工作流至关重要。他强调具备历史记录和追踪功能的解决方案以管理工具如何处理数据的重要性。此外，他还指出需要进行质量控制检查以确保AI模型的准确性和可靠性。

另一个挑战涉及高级AI的使用者以及对生成的答案过度信任的潜在风险。随着AI的不断进步以及用户越来越习惯于在日常工作中使用基于聊天的AI工具，答案中的缺陷变得更加不易察觉。艾莉森·科斯特卡评论道：“不要只问一个问题，要问五个问题。比较答案并用不同的方式验证它们。”

科斯特卡还评论说，信任始于评估AI技术的早期阶段。它始于能够在安全环境中测试工具以确保它们按预期运行的能力。科斯特卡建议，在测试新AI工具时，最佳实践是构建一个能输入工具并查询以验证工具能力和输出的基准数据集。科斯特卡的团队已使用与诉讼相关的公开可用数据编译了基准数据集。

通往值得信赖的AI之旅将永远是一项持续的努力。人工智能技术的持续进步必须伴随持续努力提高透明度、问责制和伦理标准。正如杜利总结的那样：“信任不仅仅是关于技术本身；它是支持它的整个生态系统，包括规范其使用的法律和伦理体系。”

[查看来源]

(以上内容均由Ai生成)