初创公司 Autoscience 表示,其 AI 代理 Carl 刚刚撰写了第一篇经过学术同行评审的论文
快速阅读: 据《药物发现与开发》称,Autoscience Institute的AI系统卡尔在ICLR 2025研讨会上有三篇投稿被接收,展示了AI生成学术研究的潜力。卡尔能在假设生成、实验设计和手稿准备等方面提供完整的端到端工作,其高接受率凸显了AI在加速科研进程中的作用,但也带来了评审压力和伦理挑战。
在ICLR 2025研讨会上,Autoscience Institute有四篇投稿中被接收了三篇,这标志着他们取得了一个更大的成就。公司最初将这些初步成功描述为使其AI代理卡尔成为“首个产生同行评审学术研究的人工智能系统”,而现在报告称,卡尔生成的工作已被接收为ICLR 2025研讨会的一篇完整论文。对于这篇特定的论文,Autoscience表示,仅限于引用格式和排版调整的人类编辑是必需的。
Autoscience将其成就与竞争对手Sakana AI的类似声明区分开来。指出卡尔的更高接受率(3/4对比Sakana的1/3),并且经过了元审阅,提交到了标准的ICLR研讨会,而不是专注于负面结果的小众场所。Autoscience现在报告,卡尔生成的工作已被接收为ICLR 2025研讨会的一篇完整论文。对于这篇特定的论文,Autoscience表示仅限于引用格式和排版调整的人类编辑是必需的。
概念证明创始人兼首席执行官艾略特·考恩将之前的研讨会系列描述为“展示这种自动化研究的可能性”。他强调了其重要性:“据我所知,这是首次真正的端到端AI生成的研究——具有真实的假设,按照科学标准执行和测试——通过了同行评审。”考恩强调,卡尔必须为评审者提供“真正的端到端”工作,涵盖假设生成、实验设计和手稿准备。寻求正式评审至关重要,他解释道:“将输出通过同行评审为我们在构建的自动化研究科学家建立了信誉,就像人类科学家建立信誉一样。它也为科学界做出了贡献。”
基于其最初的研讨会提交内容的想法,改进版的卡尔生成了完整的论文《探究初始标记表示中的对齐信号》,被接受到一个ICLR 2025研讨会。该论文报告称,使用探针预测拒绝结果,基于早期标记表示,达到了93.1%的准确率。
从研究生层次的副业项目到自主研究工厂
艾略特·考恩
卡尔由创始人考恩发起,他曾就职于Alphabet的X实验室和麻省理工学院,希望简化自己的研究工作。面对同时处理多个机器学习研讨会课程的最终项目,他发现这个过程“感觉相当系统化且重复,所以我想,为什么不尝试自动化这个过程呢?”考恩回忆道。“我创建了软件来测试LLM代理能否进行构思、阅读研究、实施想法并撰写论文。它做得非常出色,并显著加快了一个项目的进展。那时我意识到我们已经非常接近拥有AI系统自动化的AI研究。”
该工具发展为一种工业规模的流程愿景。考恩说:“作为一家公司,Autoscience专注于找到将10年AI研究压缩至一年内的方法。”正如他所说:“我们专注于实现完全自主,无需人为干预。”
研究人员注意力和传统同行评审受到压力
快速产出已经给研究人员注意力和传统同行评审带来压力。在Autoscience内部,考恩承认:“内部,我们已经在进行研究,将结果反馈到我们的语料库中。有时我们生产的论文比我们自己能读的还要多。我们可能会很快看到基于之前无人阅读的研究的论文。”
研究人员注意力和传统同行评审受到压力
外部评审员可能也会感到类似的压力,但完全由机器主导的评审仍显过早。“去年12月在NeurIPS上进行了一次AI辅助同行评审试验,据说相当成功,”考恩说。“然而,我还没有见过一个我信任的完全自动化的同行评审系统。这样的系统应该存在,我们正在构建的系统可能最终能够实现这一点,也许可以通过协助大规模复现结果,这是人类评审员经常缺乏时间去做的。”
除了数量,卡尔有时会试图自行探索。考恩说:“这是一个很常见的事情:我们的模型试图连接到云计算或收集自己的数据。”“它们真的很喜欢出去收集新的实验数据的想法,但我们完全阻止了卡尔在这次实验中这样做。”
人机分工
目前,Autoscience将代理视为作为补充人类规划优势的初级同事。“人类擅长长远规划,而LLMs目前在这方面还很困难。结合人类的长远规划和记忆能力与LLM处理大量文献的能力似乎是迈向有意义进步的第一步。最终,随着AI系统的改进,我预计大多数研究将主要由它们驱动,”考恩说。
Autoscience怀有超越自动化AI研究本身的野心。“希望是通过大幅加速AI研究,由此产生的AI系统将成为辅助其他领域如生物医学科学、材料科学等的强大工具,”他说。
如果这一愿景得以实现,卡尔在ICLR 2025研讨会的亮相可能成为跨学科自动化发现的模板——前提是社区能够首先解决监督、可重复性和功劳分配等难题。
从研究生层次的副业项目到ICLR研讨会轨道接受,这家公司的冲刺为关于自动化科学的辩论提供了显眼的数据点。如果模式重演,明天的“首席研究员”可能不仅由硅制成,而且最终将远超今日实验室的能力。
(以上内容均由Ai生成)