PNNL 科学家构建值得信赖的 AI,了解其在材料发现方面的局限性
快速阅读: 据《AZoAI》称,太平洋西北国家实验室开发了一种新方法,通过量化神经网络势能模型的不确定性,帮助研究人员判断AI模型预测的可靠性,从而加速材料发现。这一开源工具为提升AI模型可信度提供了支持。
太平洋西北国家实验室
2025年4月25日
PNNL的一项新的人工智能方法帮助研究人员判断何时可以信任模型预测,何时需要重新训练,从而以信心实现更快、更智能的材料发现。
在MACE-MP-0交互头的所有权重在训练过程中都被固定,只有读出层的权重被调整。
显然,一只训练不好的狗不会对指令作出恰当反应。它会突破界限并表现出不可预测的行为。
训练不当的人工智能(AI)模型同样如此。但对于AI而言,往往并不容易明确找出训练中出现的问题所在。
世界各地的研究科学家正在与各种基于实验和理论数据训练的AI模型合作。目标是在投入时间和成本制造和测试材料之前预测其属性。他们利用AI在远少于实验试错所需的时间内设计出更优质的药物和工业化学品。
但是,他们如何才能信任AI模型提供的答案?这不仅仅是一个学术问题。数百万美元的投资可能依赖于AI模型预测的可靠性。
现在,由能源部太平洋西北国家实验室的研究团队开发了一种方法,评估一类被称为神经网络势能的AI模型的效果,判断它们是否训练得足够充分。此外,该方法还能判断预测何时超出训练范围,并指出哪里需要更多训练以改进——这个过程称为主动学习。
由PNNL的数据科学家珍娜·比尔布雷·蒲柏和苏坦纳伊·乔杜里带领的研究团队在发表于《自然·计算材料》的研究文章中描述了这种新的不确定性量化方法的工作原理。
该团队还将这种方法作为其更大存储库的一部分公开发布在GitHub上,名为可扩展神经网络原子势(SNAP),供任何希望将其应用于自己工作的人员使用。
“我们注意到,一些不确定性模型即使在预测的实际误差较高时也倾向于过于自信,”比尔布雷·蒲柏说。“这是大多数深度神经网络的常见现象。但用SNAP训练的模型提供了一个指标来缓解这种过度自信。理想情况下,您应该同时考虑预测不确定性和训练数据不确定性以评估整体模型性能。”
培养对AI模型训练的信任以加速发现
研究科学家旨在利用AI预测的速度;然而,目前速度和准确性之间存在权衡。AI模型确实可以在几秒钟内做出预测,而超级计算机使用传统计算密集型方法可能需要12小时才能完成计算。但化学家和材料科学家仍然将AI视为一个黑箱。
相关故事
AI解锁3D打印中的隐藏缺陷,颠覆制造业
AI模型利用全球最大的不良事件数据库揭示药物安全性见解
研究人员揭示如何在AI时代使教育更加灵活
PNNL的数据科学团队的不确定性测量提供了一种衡量他们应当多大程度信任AI预测的方式。
“AI应该能够精准识别其知识边界,”乔杜里说。“我们希望我们的AI模型具备可信度保障。我们希望能够做出这样的陈述:‘根据您的要求,此预测有85%的信心认为催化剂A优于催化剂B。’”
在他们的发表研究中,研究人员选择使用最先进的原子材料化学基础模型之一MACE来基准其不确定性方法。研究人员计算了模型训练得有多好,以计算特定材料家族的能量。这些计算对于理解AI模型如何近似超算上运行的时间和能量密集型方法至关重要。结果表明可以自信地说答案准确的模拟类型。
研究人员补充说,这种对预测的信任和信心对于实现将AI工作流程整合到日常实验室工作中以及创建自主实验室(在其中AI成为值得信赖的实验室助手)的潜力至关重要。
“我们努力使任何化学神经网络势能都能‘包装’进我们的框架中,”乔杜里说。“然后突然间,它们就具备了不确定性感知的能力。”
除了比尔布雷和乔杜里,PNNL的数据科学家杰森·S·菲罗兹和马尔-苏恩·李也为这项研究做出了贡献。这项工作得到了“将百亿亿次级计算化学迁移至云计算环境及新兴硬件技术”项目(TEC4)的资助,该项目由美国能源部科学办公室、基础能源科学办公室资助。
来源:
太平洋西北国家实验室
期刊参考:
比尔布雷, J.A., 菲罗兹, J.S., 李, M., & 乔杜里, S. (2025). 神经网络势能基础模型的不确定性量化。
《自然·计算材料》,11(1),1-8。DOI:10.1038/s41524-025-01572-y,
https://www.nature.com/articles/s41524-025-01572-y
(以上内容均由Ai生成)