马里兰MIT等团队发布新成果：Prompt提升大模型性能49%

快速阅读: 马里兰大学等机构研究发现，提示词优化和模型升级各占AI性能提升的50%，DALL-E 3生成图像质量显著优于DALL-E 2，提示词优化对性能提升至关重要。

马里兰大学、麻省理工学院和斯坦福大学等机构联合研究发现，提示词优化是提升AI性能的关键因素之一，占总体性能提升的49%。研究团队通过实验验证，模型升级和提示词优化各占性能提升的50%。他们将这一现象称为“提示词适应”。

研究团队使用DALL-E 2和DALL-E 3进行对比实验，邀请1893名参与者，每人使用随机分配的三种模型之一，尝试10次复现目标图像。结果显示，DALL-E 3生成的图像相似度显著高于DALL-E 2。其中，模型升级贡献了51%的性能提升，而提示词优化则贡献了49%。

实验还发现，即使是没有技术背景的参与者，也能通过优化提示词，使DALL-E 3生成更高质量的图像。OpenAI总裁Greg Brockman表示，要充分发挥模型的潜力，需要掌握一定的技巧，并建议开发者管理和优化提示词库。

2023年，随着ChatGPT的爆红，提示词工程成为热门话题。尽管上下文工程成为今年的新热点，提示词工程依然备受关注。然而，提示词设计作为一种动态实践，仍缺乏深入研究。许多提示词库和教程将有效提示视为“可复用成品”，但在新模板中可能失效，这引发了关于提示策略是否可以跨模型版本迁移的问题。

为了解决这些问题，研究团队提出了“提示词适应”的概念，用以解释用户输入如何随技术进步而演进。研究团队在Prolific平台上进行了预注册在线实验，邀请1893名参与者，每人独立分配到15张目标图像中的一张。参与者需提交至少10条提示词，通过模型复现目标图像，最佳表现者将获得高额奖金。

实验结果表明，参与者生成的图像与目标图像之间的相似度，通过CLIP嵌入向量的余弦相似度进行量化。DALL-E 3生成的图像相似度平均比DALL-E 2高出0.0164，相当于0.19个标准差。此外，DALL-E 3用户的提示词长度比DALL-E 2用户长24%，且差距随尝试次数逐渐扩大。

研究团队进一步分析了模型效应和提示词效应。结果显示，模型效应占总性能提升的51%，提示词效应占49%。这表明，用户通过优化提示词，能够显著提升模型的性能。

研究还发现，不同技能水平的参与者在模型效应和提示词效应上存在差异。模型改进缩小了高、低绩效用户之间的整体差距，主要惠及低技能用户。此外，自动化提示词的效果不佳，GPT-4生成的提示词经常添加无关细节，导致模型输出质量下降58%。

马里兰大学商学院信息系统专业的助理教授Eaman Jahani、MIT斯隆管理学院IT组的博士生Benjamin S. Manning和斯坦福大学的博士生Joe Zhang参与了这项研究。研究结果发表在arXiv上。

(以上内容均由Ai生成)