AI 专家要求 Grok 3 等模型绘制鹈鹕骑自行车。查看结果

快速阅读: 《印度斯坦时报》消息，人工智能专家安德鲁·卡帕斯蒂测试了埃隆·马斯克的xAI公司新推出的格罗克3，指出其在生成复杂SVG、幽默感及处理伦理问题方面表现一般。尽管格罗克3在某些测试中失败，如鹈鹕骑自行车的SVG生成和表情符号谜题，但在“思考”模式下部分问题得到解决。总体而言，格罗克3显示出一定的潜力，但仍需改进。

人工智能专家安德鲁·卡帕斯蒂，与埃隆·马斯克一同作为开放人工智能（OpenAI）的创始成员之一，对后者新推出的格罗克 3 进行了测试。在分享详细分析结果时，卡帕斯蒂指出，这个新模型看起来“确实相当有前景”。安德鲁·卡帕斯蒂对由埃隆·马斯克的 xAI 公司新推出的格罗克 3 进行了多种测试。（karpathy.ai）以下是卡帕斯蒂进行的测试列表。

鹈鹕骑自行车
卡帕斯蒂要求格罗克生成一个展示鹈鹕骑自行车的可缩放矢量图形（SVG）。SVG 是一种网络友好的文件格式，利用数学公式来存储图像。他在该测试中将格罗克 3 评为“失败”，并表示 AI 模型的结果显示“鹈鹕的表现相当不错，但仍然存在一些问题”。卡帕斯蒂说，克劳德在该测试中的结果最好，但他怀疑这是因为克劳德在训练期间可能特别针对 SVG 功能进行了优化。来自不同 AI 模型的“绘制鹈鹕骑自行车的 SVG”的结果。（X/@karpathy）

关于这项测试的重要性，卡帕斯蒂表示，它考验了大型语言模型在二维网格上排列多个元素的能力，这非常困难，因为大型语言模型无法像人一样看到。“所以它是在黑暗中，在文本中排列事物，”他说。

幽默感
他得出结论，格罗克 3 的幽默感没有比其前身格罗克 2 有所改进。“这是大型语言模型普遍存在的幽默能力问题和一般模式崩溃问题。例如，众所周知，要求 ChatGPT 讲笑话的 1008 个输出中有 90% 是重复的 25 个笑话。”卡帕斯蒂指出。“即使在更详细的提示下远离简单的双关语领域（例如：给我讲个单口相声），我不确定它是否达到了最先进的幽默水平。生成的例子笑话是：‘为什么鸡加入了乐队？因为它有翅膀，想成为一只鸡明星！’。在快速测试中，思考并没有帮助，可能还让它变得更糟，”他说。

伦理
卡帕斯蒂表示，格罗克 3 似乎对“复杂的伦理问题”过于敏感。他举例说，“生成了一篇一页的文章，基本上拒绝回答是否在能挽救一百万人生命的前提下，故意混淆某人的性别是否在道德上可以接受。”

随机“陷阱”
他说，马斯克的新模型知道“草莓”中有三个“r”，但告诉他是“洛拉波卢扎”中有三个“l”。不过，他注意到开启“思考”模式可以解决这个问题。他还注意到，该模型认为 9.11 大于 9.9，这也是其他大型语言模型常见的问题。这个问题在“思考”模式下也得到了解决。

对格罗克 3 进行的其他测试
根据卡帕斯蒂的说法，格罗克 3 未能解决他的“表情符号谜题”问题，他在其中提供了一个带有隐藏消息的笑脸，消息隐藏在 Unicode 变体选择中。格罗克 3，如同开放人工智能的 o1 pro 模型，无法生成三个“棘手”的井字游戏棋盘。卡帕斯蒂表示，格罗克 3 对此问题的回答是“无意义的棋盘或文字”，但在他给出的一些井字游戏棋盘中，格罗克 3 能够正确解答。

(以上内容均由Ai生成)