为什么使用 LLM 进行置信度评分是危险的 |埃贝

快速阅读: 《JD Supra》消息，使用大型语言模型（LLM）进行文档审查时，其非确定性导致预测分数波动，影响置信度评估。单次运行可能低估模型性能，多次查询虽可改善但成本高昂。如何准确报告模型性能仍需探讨。

在依赖大型语言模型（LLMs）进行文档审查之前需要了解的内容

当涉及技术辅助审查（TAR）模型的置信度评估时，对预测进行评分至关重要。最重要的是，不是分数本身，而是这些分数产生的排名结果。一旦我们的模型（TAR 1.0、TAR 2.0、CAL 或 LLM）给出了分数后，我们对示例进行排序，并划定一个截断线：通过划定一条线来决定每个文件的响应性，从而划分模型认为的响应性和非响应性部分。这种划分偶尔会产生错误，无论是误报还是漏报。当我们改变评分阈值时，我们会得到不同的结果和错误率。例如，包容性可能会增加误报但减少漏报，这是我们使用任何机器学习模型时必须接受的权衡。没有正确的答案，而是一个价值判断。上述描述的过程自技术辅助审查（TAR）存在以来一直是标准做法。只要模型给我们某种形式的分数，就可以使用上述方法来进行预测。TAR 模型与 LLM 之间的唯一区别是，从 LLM 获得的分数不是确定性的。在同一份数据上多次运行相同的模型会得到不同的分数和排名。例如，反复向 TAR 模型请求分数时，我们期望的结果可能是这样的：

然而，向 LLM 请求分数则可能看起来像这样：

由于不同的分数会导致不同的排名，每次你向 LLM 请求预测时，你也应该预期不同的精确率-召回率曲线，例如精确率和召回率。

**解决方案是什么？**
我们之前提到过，增加模型预测一致性的唯一方法是对预测本身或分数进行平均，比如多次请求 LLM 对同一文档的分数，然后取平均值。随着查询次数的增加，平均值会收敛至真实的预测分数并趋于稳定，看起来更接近于传统的确定性模型。

这种方法带来的问题是，多次向 LLM 重复查询是不切实际的，特别是像 GPT-4 这样的模型，其成本通常令人望而却步。

**后果是什么？**
让我们看看如果简单地依赖 LLM 的置信输出会发生什么。为了说明后果，我们将确定性模型和预测中有噪声的模型（如 LLM）的精确率-召回率曲线进行比较。为了模拟这种情况，我们选取一组假设的分数并添加一些噪声。然后，我们比较精确率-召回率曲线：

如果带有噪声的模型（即 LLM）多次在相同的数据上运行，并对其分数进行平均，则其精确率和召回率将接近确定性模型（即蓝线）。然而，当依赖单次预测运行（红线）时，性能会受到影响，总是低估模型的真实性能。在上面的例子中，性能报告可能只有实际的一半。

**实际影响是什么？**
实际上，当你查看 LLM 的精确率-召回率曲线（上面的红线）时，你只会看到性能不足，而不知道原因。本能反应可能是改进模型的性能，也许通过调整提示词或添加一些示例。在这种情况下——所有努力都将白费。性能差距并不是因为模型本身不够好，而是因为其非确定性的本质低估了模型的性能。唯一能缩小这个性能差距的方法就是多次请求 LLM 的分数并平均其预测。

考虑到你不会因为成本和时间原因在每个文档上运行你的模型 10 倍，有没有确保模型性能被准确报告的解决方案？答案是肯定的——我们将在下一篇文章中讨论。敬请关注。

[查看来源]

(以上内容均由Ai生成)