ChatGPT 可以通过工程作业,但在更深层次的思考方面遇到困难
快速阅读: 据《AZoAI》最新报道,研究显示,ChatGPT在工程课程中可获低B,擅长结构化数学但推理能力不足。教育者需调整教学策略,增加高层次问题以提升学生批判性思维。这项未经同行评审的研究提醒,AI工具应辅助而非取代学习。
**懒惰学生的梦想:ChatGPT能否独立通过工程课程?**
格兰杰工程学院,2025年4月18日
一项新研究表明,ChatGPT在解答结构化数学问题时表现出色,但在基于推理的问题上表现欠佳。这一发现提醒教育者,需要重新思考评估方式,以促进真正的学习,而非依赖捷径获得成功。
研究题目:懒惰学生的梦想——ChatGPT独立通过工程课程
图片来源:Anggalih Prasetya / Shutterstock
**重要声明:**
预印本服务器arXiv发布的内容为未经同行评审的初步科学报告,不应将其视为最终结论、用于指导开发决策或作为人工智能研究领域的权威信息。
假设学生会使用人工智能和大型语言模型(如ChatGPT)来完成作业,伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院航空航天工程系的研究人员着手了解免费版ChatGPT与人类学生在为期一学期的本科生控制系统课程中的表现对比。结果显示:在简单的数学作业中,ChatGPT获得了A,但有些答案显得有些奇怪;而在需要推理的高级问题上,它只得到了D。
“我们发现,ChatGPT技术在结构化、简单直接的问题上可以拿到A。在开放性问题上,它得了62分,使ChatGPT的整体学期成绩下降到82分,即低B。而人类学生的平均成绩为84.85%,因为他们能够处理需要更高层次推理的问题,”博士生高库尔·普图马纳拉姆说道。
该研究得出结论,一个投入最少努力、对学习材料不感兴趣的“懒惰”学生,如果仅依赖ChatGPT,仍然可以获得B并顺利通过课程。问题是,及格分数可能是简单数学的A+和分析的D-的组合,而这表明学生并没有学到太多东西。
“就像数学课上的计算器一样,ChatGPT是一种将长期存在的工具,学生们也会使用它。这项研究的结果让我意识到,作为教育者,我需要调整自己的教学方式,”普图马纳拉姆的导师梅尔基奥·奥尼克补充道,“我计划考虑如何设计我的课程,以便随着时间推移加入更多高层次的问题,也许包括基于项目的任务。学生仍然会用像ChatGPT这样的程序来做简单的数学题,但通过增加更多开放性问题,他们也能达到更高的批判性思维水平,并真正掌握知识。”
普图马纳拉姆指出,尽管ChatGPT在结构化问题上速度快且大多正确,但仍需谨慎使用。“一个学生可能需要20分钟回答一个问题,而ChatGPT在不到20秒内就能解决,但其准确性有时值得怀疑。”他进一步描述了ChatGPT作业中的一些异常行为,例如使用不恰当的技术术语以及生成错误内容。“尽管我们向ChatGPT提供了所有必要的课程资料,但它仍然生成了错误内容,使用了课堂、讲座或课程材料中从未提到过的词,比如‘拟周期振荡’。”
研究还考虑了那些选择投入最少努力的学生类型。普图马纳拉姆指出,ChatGPT的高级版本可能在解决分析问题方面略有能力,并能存储更多记忆来解决更长、更复杂的问题。研究人员选择使用免费版软件,因为普通学生可能不愿意每月支付费用。此外,课程中没有团队作业,ChatGPT使用的提示语与人类学生收到的语言完全一致,所有互动都是同步进行的。
“当学生做作业时,ChatGPT也在做作业。ChatGPT只是课堂上的一个额外的虚拟学生。”普图马纳拉姆强调。
那么,ChatGPT能否从错误中学习呢?“当我们告诉ChatGPT在多项选择题中答错了,给出正确选项后又提出类似问题的变化版本时,是的,它确实表现得更好了。在某种意义上,它是在学习,但从整体来看,它是停滞不前的。如果它在作业中得分90%,那么在学期结束时,它的成绩仍然是90或92分。”
这项工作得到了伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院教学发展项目的资助。航空航天教授蒂姆·布雷特,以及博士生格雷森·施尔和普拉纳伊·桑德加达共同创建了项目环境,开发了课程材料和PrairieLearn平台。
由高库尔·普图马纳拉姆和梅尔基奥·奥尼克撰写的论文《懒惰学生的梦想》已在预印本平台arXiv在线发布,并将在6月第14届国际自动控制联合会控制教育进展研讨会上发表。
AE 353:航空航天控制系统课程的大纲和课程材料,以及研究中使用的示例提示语,均可在线获取。
**重要声明:**
预印本平台arXiv发布的报告未经同行评审,因此不应将其视为最终结论、用于指导开发决策或作为人工智能研究领域的权威信息。
来源:格兰杰工程学院
期刊引用:初步科学报告
普图马纳拉姆,G.,& 奥尼克,M.(2025)。懒惰学生的梦想。
arXiv。
https://arxiv.org/abs/2503.05760
(以上内容均由Ai生成)