海外AI模型在韩国高考数学测试中领先
快速阅读: 据科技和ICT部方面消息,韩国国产AI大模型在高丽大学主导的数学能力测评中显著落后于国际主流系统,主要原因是科学训练数据不足。部长裵京勋12月16日表示,将聚焦构建领域专用数据集,并优先发展可部署的轻量级模型。
韩国自主研发的人工智能大模型在近期一项学术能力测试中明显落后于国际领先系统。此次评估由高丽大学数学系教授金俊洛克领衔的研究团队开展,旨在回应社会对国产“主权AI”模型缺乏公开测评的关切。
研究团队选取10个大型语言模型,要求其解答50道高难度数学题。其中20题来自韩国大学修学能力考试(CSAT)数学部分,涵盖微积分、概率统计与几何等内容;另30题为论文式题目,取自韩国顶尖高校、印度入学考试及东京大学研究生试题。结果显示,海外模型占据前列:谷歌Gemini 3 Pro Preview以92分居首,正确解答46题;Anthropic的Claude Opus 4.5得84分,xAI的Grok 4.1 Fast获82分,OpenAI的GPT-5.1得80分,中国深度求索DeepSeek V3.2得76分。
相比之下,韩国本土模型整体得分偏低。Upstage开发的Solar Pro 2以58分位列国内第一;Naver的HCX-007得26分;LG AI Research的EXAONE 4.0.1与SK Telecom的A.X 4.0(72B)均得24分;NC AI的轻量级模型Llama-VARCO-8B-Instruct仅得2分,排名垫底。即便允许使用Python计算工具辅助推理,差距仍未缩小。
后续采用EntropyMath数据集的测试也呈现类似趋势。该数据集覆盖从本科课程到科研级数学难度。金俊洛克强调,本次评估基于各机构已公开发布的模型版本,并计划待“国家队”版本推出后再次测试。
产业界指出,多数韩国企业聚焦服务型与工业AI应用,如智能体开发,而非通用学术推理能力。科技和ICT部长裵京勋12月16日在世宗市记者会上表示,当前国产基础模型多针对商业场景优化,科学与数学训练数据不足。他提出,若构建领域专用数据集——例如将化学分子结构转化为AI可识别格式,有望实现全球前十水平。同时,应更重视可直接部署于实际服务的轻量级模型,而非追求全学科通用能力。
(以上内容均由Ai生成)
引用自:韩国时报