“机器学习元素周期表”可以推动 AI 发现

快速阅读: 《麻省理工学院》消息，MIT团队制作了一张展示20多种经典机器学习算法关联的周期表，揭示了融合不同方法改进AI模型的策略。通过统一公式，他们创造了性能更优的新图像分类算法，并发现了潜在的未发明算法位置。这项研究为设计新算法提供了工具，强调了统一和连接现有算法的重要性。研究得到多方支持。

麻省理工学院的研究团队制作了一张周期表，展示了超过20种经典机器学习算法之间的关联。这一新框架揭示了科学家如何融合不同方法的策略以改进现有AI模型或提出新模型。例如，研究人员利用他们的框架整合两种不同算法的要素，创造了一种新的图像分类算法，其性能比当前最先进的方法高出8%。这张周期表基于一个核心理念：所有这些算法都在数据点之间学习特定类型的关系。尽管每种算法可能以略微不同的方式实现这一点，但其背后的数学原理是相同的。基于这些认识，研究人员找到了一个统一的公式，这一公式构成了众多经典AI算法的基础。他们用此公式重新构建流行方法，并将其整理为一张表格，依据每种方法所学的近似关系对其进行分类。就像化学元素周期表那样，起初有些空白位置后来被科学家填补，机器学习的周期表同样有空白之处。这些空白处预示着算法应存在的位置，但尚未被发现。

麻省理工学院研究生、该新框架论文的第一作者沙登·阿尔沙马里指出，这张表格为研究人员设计新算法提供了一套工具。她说：“这不仅是一种比喻，我们开始把机器学习看作一个有结构的系统，这是一个我们可以探索的领域，而不仅仅是盲目摸索。”她与谷歌AI感知研究员约翰·赫斯希、麻省理工学院研究生阿克塞尔·菲尔德曼、电气工程和计算机科学托马斯和格德·珀金斯教授威廉·弗里曼（同时也是计算机科学与人工智能实验室成员）以及资深作者马克·汉密尔顿（微软高级工程经理）共同撰写了这篇论文。该研究将在国际学习表征会议（ICLR）上发表。

偶然发现的公式

加入弗里曼实验室后，阿尔沙马里开始研究聚类算法，这是一种机器学习技术，通过学习将相似图像归类到临近的簇中来对图像进行分类。她发现自己正在研究的聚类算法与另一种经典的机器学习算法——对比学习——非常相似，并深入探究其背后的数学原理。阿尔沙马里发现这两种截然不同的算法可以用同一个基础公式重新表达。“我们几乎偶然发现了这个统一公式。一旦沙登发现它连接了两种方法，我们就开始构思新的方法纳入这个框架。我们尝试的所有方法几乎都能纳入其中，”汉密尔顿说。他们创建的框架名为信息对比学习（I-Con），展示了各种算法如何通过这一统一公式看待问题。它涵盖了从检测垃圾邮件的分类算法到支持大型语言模型的深度学习算法等一切。

该公式描述了这些算法如何在真实数据点之间建立联系，然后在内部近似这些关联。每个算法都力求最小化其学习的近似联系与训练数据中实际联系之间的偏差。他们决定将I-Con整理为一张周期表，以便根据真实数据集中点之间的连接方式及算法主要近似这些连接的方式对算法进行分类。“工作进展缓慢，但一旦我们识别出这个公式的一般结构，就更容易向我们的框架中添加更多方法，”阿尔沙马里说。

发现的工具

当他们整理表格时，研究人员开始发现算法可能存在但尚未发明的空白领域。研究人员借鉴对比学习这一机器学习技术的思想，并将其应用于图像聚类，填补了一项空白。这催生了一种新算法，可比另一种最先进的方法更高效地分类未标记图像8%。他们还借助I-Con展示了为对比学习开发的数据去偏技术如何提升聚类算法的准确性。此外，在增加行和列方面具备灵活性，允许研究人员代表其他类型的点连接。最终，有了I-Con作为指导，有助于机器学习科学家突破常规思维，鼓励他们以非传统方式结合思路，汉密尔顿说。

“我们已经表明，仅仅一个非常优雅的公式，根植于信息科学，就可以给你丰富的算法，涵盖机器学习100年的研究。这开辟了众多新的发现方向，”他补充道。“也许当今机器学习研究人员面临的最具挑战性的方面是每年似乎无限数量的论文出现。在这种背景下，统一和连接现有算法的论文至关重要，但极为少见。I-Con提供了一个此类统一方法的优秀范例，并希望它能激励其他人将类似方法推广至机器学习的其他领域。”

这项研究部分得到了空军人工智能加速器、国家科学基金会人工智能研究所和量子计算机的支持。

(以上内容均由Ai生成)