LLM 里面有什么？Ai2 OLMoTrace 将“跟踪”源
快速阅读: 据《VentureBeat 公司》最新报道，本周，艾伦人工智能研究所启动OLMoTrace开源计划，通过追溯大型语言模型输出至训练数据，提升AI系统透明度。该工具让用户了解模型学习来源，适用于各种AI模型。企业可借此增强监管合规、赢得信任，并改进模型调试。
订阅我们的每日和周报，获取最新更新和行业领先的人工智能报道的独家内容。长期以来，准确理解大型语言模型（LLM）的输出如何与训练数据相匹配一直是一个未解之谜，也是企业IT的一大难题。本周，艾伦人工智能研究所（艾伦AI研究所）启动了一项新的开源计划，旨在通过追溯LLM输出至训练输入来帮助解决这一挑战。OLMoTrace 工具让用户能够直接追溯语言模型的输出至原始训练数据，解决了企业采用人工智能的最大障碍之一：缺乏对AI系统决策方式的透明度。OLMo 是开放语言模型的缩写，也是艾伦AI研究所开源LLM系列的名称。在艾伦AI研究所的游乐场网站上，用户可以尝试使用最近发布的OLMo 2 32B模型进行OLMoTrace。开源代码也可在GitHub上获得，并且可供任何人免费使用。
与现有的侧重于置信分数或检索增强生成的方法不同，OLMoTrace 为模型输出与塑造它们的数十亿标记训练数据之间的关系提供了直接的窗口。“艾伦AI研究所的研究员刘佳成告诉《创业科技》杂志，我们的目标是帮助用户理解为什么语言模型会生成它们所生成的响应。”
OLMoTrace 的工作原理：核对模型输出与原始数据
具有网络搜索功能的语言模型，如Perplexity或ChatGPT搜索，可以提供来源引用。然而，这些引用从根本上不同于OLMoTrace 所做的。刘解释说，Perplexity 和 ChatGPT 搜索使用检索增强生成（RAG）。通过RAG，目的是通过提供比模型训练时更多的来源来提高模型生成的质量。而OLMoTrace 则不同，它追踪模型本身的输出，不涉及任何RAG 或外部文档来源。该技术识别模型输出中的长、独特的文本序列，并将其与训练语料库中的特定文档进行匹配。当找到匹配时，OLMoTrace 突出显示相关文本并提供指向原始来源材料的链接，让用户清楚看到模型是在哪里以及如何学到这些知识的。
超越置信分数：AI决策的有形证据
从设计上看，LLMs 依据有助于提供置信分数的模型权重生成输出。基本思想是，置信分数越高，输出越准确。在刘看来，置信分数本质上是有缺陷的。“刘表示，模型可能对自己的生成内容过于自信，若要求其生成分数，通常会偏高。”这是学术界所说的校准错误——模型输出的置信度并不总是反映其响应的真实准确性。OLMoTrace 并非提供可能误导的分数，而是直接展示模型的学习来源，使用户能够做出自己的明智判断。“刘解释说，OLMoTrace 所做的就是展示模型输出与训练文档之间的匹配。”通过界面，你可以直接看到匹配点在哪里，以及模型输出如何与训练文档一致。
OLMoTrace 与其他透明度方法的比较
艾伦AI研究所并不是唯一一个致力于更好地理解LLMs 如何生成输出的组织。Anthropic 最近发布了他们自己的研究。这项研究集中在模型内部操作上，而不是理解数据。“刘说，我们采用了不同的方法。”我们直接追溯到模型行为及其训练数据，而不是追溯到模型神经元、内部电路之类的东西。这种方法使得OLMoTrace 对于企业应用更加实用，因为它不需要深入了解神经网络架构就能解释结果。
企业AI应用：从监管合规到模型调试
对于在医疗、金融或法律服务等受监管行业中部署AI的企业来说，OLMoTrace 相比现有的黑盒系统具有显著优势。“刘说，我们认为OLMoTrace 将帮助企业用户更好地理解模型训练中使用的内容，这样他们在基于模型构建时会更有信心。”这可以帮助增加他们对模型的信任，以及对其行为的客户信任。
此技术为企业AI团队提供了多项关键能力：
– 核对模型输出与原始数据
– 理解幻觉产生的原因
– 通过识别问题模式改进模型调试
– 通过数据可追溯性增强监管合规
– 通过提升透明度赢得利益相关者的信任
艾伦AI研究所团队已经使用OLMoTrace 识别并纠正了他们的模型问题。“刘透露，我们已经在利用它来改善我们的训练数据。”当我们构建OLMo 2 并开始训练时，通过OLMoTrace，我们发现实际上一些后训练数据质量不好。
这对企业AI采用的意义
对于希望引领AI采用潮流的企业来说，OLMoTrace 标志着更负责任的企业AI系统的重大进步。该技术以Apache 2.0 开源许可证的形式提供，这意味着任何拥有访问其模型训练数据权限的组织都可以实施类似的追溯功能。“刘指出，只要拥有模型的训练数据，OLMoTrace 就可以适用于任何模型。”对于完全开放的模型，每个人都可以访问模型的训练数据，任何人都可以为该模型设置OLMoTrace；而对于专有模型，也许一些提供商不想公开他们的数据，他们也可以在内部进行OLMoTrace。
随着全球AI治理框架的不断发展，在受监管行业中，算法透明度日益被强制要求，像OLMoTrace 这样的验证和审计工具很可能成为企业AI栈的重要组成部分。对于权衡AI采用利弊的技术决策者来说，OLMoTrace 提供了一条实际路径，可以在不牺牲大型语言模型强大功能的情况下实现更可信、更可解释的AI系统。
每日商业用例洞察
如果想给老板留下深刻印象，VB Daily 可以帮到你。我们为你提供公司如何使用生成式AI的内部信息，从监管变化到实际部署，以便你能分享见解以获得最大回报。现在订阅阅读我们的隐私政策感谢订阅，请查看更多VB新闻简报。出现错误。
(以上内容均由Ai生成)
