Grok-3 在推理方面击败 DeepSeek-R1,与 OpenAI 的 o1 Pro: Karpathy 一样强大
快速阅读: 据《印度分析杂志》最新报道,xAI,由埃隆·马斯克领导的人工智能公司,发布了格洛克-3模型,该模型在多项基准测试中表现优异,并成为首个在Chatbot Arena得分超1400的模型。尤里卡实验室创始人安德烈·卡帕斯评价称,格洛克-3在处理复杂任务方面表现出色,接近OpenAI最强模型o1-pro的水平。然而,该模型也存在生成错误信息的问题。
xAI,由埃隆·马斯克领导的人工智能模型制造商,发布了其最新的模型系列——格洛克-3。根据基准测试,格洛克-3在多个竞争模型中脱颖而出,并且是首个在聊天机器人竞技场Chatbot Arena上得分超过1400的模型。格洛克-3还提供了推理功能和名为深搜的深度研究功能。尤里卡实验室创始人安德烈·卡帕斯曾是OpenAI和特斯拉的成员,他获得了格洛克-3的早期访问权限。他在X上分享了一篇文章,详细描述了他的体验。他透露,该模型在处理复杂任务方面表现出色,例如为流行棋盘游戏《卡坦岛》创建六边形网格。“很少有模型能够可靠地做到这一点。顶级的OpenAI思维模型(如o1-pro,每月200美元)也能做到,但DeepSeek-R1、Gemini 2.0快速思维和Claude都无法做到。”他说。
卡帕斯还上传了OpenAI的GPT-2技术论文,以估计训练模型所需的浮点运算次数。他透露,尽管格洛克-3和GPT-4o在这项任务上失败了,但具备思考能力的格洛克-3却出色地完成了这项任务,而OpenAI的o1 Pro则未能完成。“总体来说,这个模型大约相当于o1-pro的能力,领先于DeepSeek-R1,当然,我们还需要进行实际的评估来确认。”他补充道。
卡帕斯还测试了格洛克-3的深搜功能,发现它生成了不存在的网址,并报告了错误的信息,而且没有提供引用。“当我要求它创建一份关于主要大型语言模型实验室及其总资金和员工数量估算的报告时,它列出了12个主要实验室,但没有包括自身(xAI)。”他补充道。使用该模型约两个小时后,他总结说:“格洛克3加上思考功能的感觉接近OpenAI最强模型(o1-pro,每月200美元)的水平,并略优于DeepSeek-R1和Gemini 2.0快速思维。”
其他人如莱克斯·弗里德曼也在X上发表了一篇文章,表示他也获得了该模型的早期访问权限,“太厉害了,这是一个非常令人印象深刻的新模型。”
(以上内容均由Ai生成)