OpenAI 研究负责人 Noam Brown 认为 AI“推理”模型可能在几十年前就已经出现
快速阅读: 据《雅虎美国》最新报道,在圣何塞Nvidia GTC大会上,OpenAI研究员诺姆·布朗指出,推理型AI模型可能早在二十年前就已出现,但因关键元素缺失未受重视。他强调预训练与测试时推断互补,并建议学术界通过低计算需求领域合作及改进AI基准测试助力AI研究,同时呼吁关注资源节约的新技术路径。
在圣何塞Nvidia GTC大会的一场小组讨论中,OpenAI负责人工智能推理研究的诺姆·布朗表示,“推理”型人工智能模型,例如OpenAI开发的O1,或许在二十年前就已经问世,前提是研究人员掌握了“正确”的方法与算法。布朗提到:“存在诸多原因导致这一研究方向未能引起足够重视。” “在我的研究过程中,我发现有些关键元素缺失。人类在面临困境时会耗费大量时间深思熟虑,这或许对人工智能而言同样至关重要。”
布朗是O1模型的主要架构师之一,该模型采用“测试时推断”技术,在回应查询前进行‘思考’。测试时推断指的是在运行中的模型上应用额外计算以实现某种‘推理’。通常情况下,这种推理模型相较于传统模型更为精准且可靠,尤其在数学与科学领域表现突出。然而,布朗也强调,预训练——即在不断扩大的数据集上训练日益庞大的模型——并未彻底“过时”。许多人工智能实验室,包括OpenAI,曾将大部分精力投入到扩大预训练规模上。不过,按照布朗的观点,如今他们已开始在预训练和测试时推断之间分配时间,他将这两种方式视为互补的。
在小组讨论环节中,当被问及学术机构是否有可能开展像OpenAI这样的AI实验室规模的实验时,布朗承认,近年来随着模型变得愈发计算密集,这确实变得更加困难。但他认为,学术界可以通过探索诸如模型架构设计等对计算需求较低的领域来取得影响力。布朗指出:“前沿实验室与学术界之间存在合作契机。” “当然,前沿实验室会关注学术成果并慎重考量,若进一步扩展此类计划,它是否能带来显著效果。若有来自论文的强有力论证,我们知道这些实验室会对此展开调查。”
布朗的言论正值特朗普政府大幅削减科研经费之际。包括诺贝尔奖得主杰弗里·欣顿在内的AI专家批评了这些削减行为,称其可能危及国内外的AI研究进展。布朗还提到,学术界在AI基准测试方面能够做出重要贡献。“AI领域的基准测试现状堪忧,而改进它并不需要太多计算资源,”他说。将AI基准测试提升至更高水平,学术界无疑可以发挥重要作用。
此外,布朗强调,学术界有能力通过创新性研究弥补资源上的不足。“尽管计算资源有限,但学术界依然可以在模型架构优化等方面贡献力量,”布朗补充道。他进一步指出,未来的研究方向应注重探索既能推动技术进步又能降低资源消耗的新途径,从而为全球AI研究注入新的活力。
(以上内容均由Ai生成)