LLM 可以帮助设计我们的下一个药物和材料吗？

快速阅读: 《麻省理工学院》消息，麻省理工学院团队开发了Llamole，一种结合大型语言模型和基于图的AI模型的技术，用于分子设计。与传统方法相比，Llamole生成的分子更符合用户需求，逆向合成成功率从5%提升到35%。此研究得到多个机构资助，未来将扩展至更通用的图数据分析。

开发具备创造新药物和新材料所需特性的分子过程既繁琐又昂贵，耗费大量计算资源和人力，耗时数月才能从众多潜在分子中筛选出合适的候选者。像ChatGPT这样的大型语言模型（LLMs）能简化此流程，但让LLM理解并推理分子中原子和键的关系，就像处理句子中的词语一样，始终是科学上的难题。麻省理工学院和麻省理工学院-IBM沃森人工智能实验室的研究人员开发了一种有前景的方法，将LLM与其他被称为基于图的模型的机器学习模型结合起来，后者专门用于生成和预测分子结构。

他们的方法使用基础LLM解析自然语言查询中指定的所需分子特性。它能自动在基础LLM和基于图的AI模块间切换，以设计分子、解释其原理并生成合成步骤的逐步计划。它交替生成文本、图和合成步骤，将单词、图和反应整合成一个供LLM使用的通用词汇表。麻省理工学院和麻省理工学院-IBM沃森人工智能实验室的研究人员开发了一种有前景的方法，将LLM与其他被称为基于图的模型的机器学习模型相结合，后者专门用于生成和预测分子结构。与现有基于LLM的方法相比，这种多模态技术生成的分子更符合用户规格，并且更有可能拥有有效的合成计划，成功率从5%提升至35%。它还优于其规模超过10倍以上的LLM，后者仅通过基于文本的表示设计分子和合成路径，这表明多模态是新系统成功的关键。

与现有基于LLM的方法相比，这种多模态技术生成的分子更符合用户规格，并且更有可能拥有有效的合成计划，成功率从5%提升至35%。“这有望成为端到端的解决方案，实现分子设计和制造整个流程的完全自动化。如果LLM能在几秒钟内给出答案，这对制药公司而言将是巨大的时间节省，”麻省理工学院的研究生、这项技术论文的共同作者孙明（音译）说道。孙明的合著者包括主要作者刘刚（音译），他是圣母大学的研究生；吴伟智（音译），麻省理工学院电气工程和计算机科学教授，领导计算机科学与人工智能实验室（CSAIL）内的计算设计与制造小组；江萌（音译），圣母大学副教授；以及资深作者陈杰（音译），麻省理工学院-IBM沃森人工智能实验室的高级研究科学家兼经理。这项研究将在国际学习表征会议（ICLR）上发表。

最佳的两方面大型语言模型并非为理解化学的细微差别而构建，这就是它们在逆向分子设计中遇到困难的原因之一，逆向分子设计是一种识别具有特定功能或特性的分子结构的过程。LLMs将文本转换为称为标记的表示形式，它们用这些标记依次预测句子中的下一个词。但分子是“图结构”，由没有特定顺序的原子和键组成，这使得它们难以作为顺序文本进行编码。另一方面，强大的基于图的AI模型将原子和分子键表示为图中的相互连接的节点和边。虽然这些模型在逆向分子设计中广受欢迎，但它们需要复杂的输入，无法理解自然语言，并且产生的结果可能难以解释。

麻省理工学院的研究人员将LLM与基于图的AI模型结合在一个统一框架中，获得了两者最好的一面。Llamole代表大型语言模型用于分子发现，使用基础LLM作为门控器来理解用户的查询——一种对具有某些特性的分子的简单语言请求。例如，也许用户寻求一种能够穿透血脑屏障并抑制HIV的分子，前提是它的分子量为209，并具有某些键特性。当LLM响应查询预测文本时，它会在图模块之间切换。一个模块使用图扩散模型根据输入要求生成分子结构。第二个模块使用图神经网络将生成的分子结构重新编码回令牌，供LLMs使用。最后一个图模块是图反应预测器，它接受中间分子结构作为输入并预测反应步骤，寻找从基础构建块制造分子的确切步骤。

研究人员创建了一种新的触发令牌类型，告诉LLM何时激活每个模块。当LLM预测“设计”触发令牌时，它会切换到绘制分子结构的模块，而当它预测“逆合成”触发令牌时，它会切换到逆合成规划模块，预测下一步反应。一个模块使用图扩散模型根据输入要求生成分子结构。第二个模块使用图神经网络将生成的分子结构重新编码回令牌，供LLMs使用。最后一个图模块是图反应预测器，它接受中间分子结构作为输入并预测反应步骤，寻找从基础构建块制造分子的确切步骤。“这种美妙之处在于，在激活特定模块前，LLM生成的所有内容都会被送入该模块。该模块正在学习以与其之前的内容一致的方式操作，”孙明说。同样地，每个模块的输出会被编码并反馈到LLM的生成过程中，因此它了解每个模块做了什么，并将继续根据这些数据预测标记。

更好的、更简单的分子结构

最终，Llamole输出分子结构的图像、分子的文字描述以及合成步骤的逐步计划，提供了如何制作它的详细信息，甚至到具体的化学反应。在涉及设计符合用户规格的分子的实验中，Llamole优于10个标准LLM、四个微调LLM和最先进的领域特定方法。同时，它通过生成更高质量的分子，提高了逆合成规划的成功率，从5%提升至35%，这意味着它们具有更简单的结构和成本更低的构建单元。

“单独来看，LLMs很难弄清楚如何合成分子，因为这需要大量的多步规划。我们的方法可以生成更好的分子结构，同时也更容易合成，”刘刚说。在涉及设计符合用户规格的分子的实验中，Llamole优于10个标准LLM、四个微调LLM和最先进的领域特定方法。同时，它通过生成更高质量的分子，提高了逆合成规划的成功率，从5%提升至35%，这意味着它们具有更简单的结构和成本更低的构建单元。

为了训练和评估Llamole，研究人员从无到有构建了两个数据集，因为现有的分子结构数据集中缺乏足够的细节。他们用AI生成的自然语言描述和定制的描述模板增强了数十万种专利分子。他们构建的数据集用于微调LLM包括与10个分子特性相关的模板，因此Llamole的一个局限性是它被训练成仅考虑这10个数值属性来设计分子。在未来的工作中，研究人员希望使Llamole更加通用，以便它可以纳入任何分子特性。此外，他们计划改进图模块以提高Llamole的逆合成成功率。

从长远来看，他们希望利用这种方法超越分子，构建多模态LLM，能够处理其他类型的基于图的数据，如电网中的互联传感器或金融市场的交易。“Llamole展示了使用大型语言模型作为复杂数据接口的可行性，我们预计它们将成为与其他AI算法交互的基础平台，以解决任何图问题，”陈杰说。这项研究得到了MIT-IBM沃森人工智能实验室、国家科学基金会以及海军研究办公室的部分资助。

(以上内容均由Ai生成)