“蒸馏技术让AI模型更小更便宜”
发布时间：2025年9月20日
来源：szf
快速阅读: 维尼亚尔开发方法，使大模型向小模型传递图像类别信息，通过“软目标”概率分配，提升小模型识别效率，简化模型同时保持高准确性。
在与欣顿讨论这一可能性后，维尼亚尔开发了一种方法，使大型教师模型能够向较小的学生模型传递更多关于图像类别的信息。关键在于聚焦于教师模型中的“软目标”——即它为每种可能性分配概率，而不是给出确定的答案。例如，一个模型计算出某张图片显示狗的概率为30%，猫为20%，牛为5%，汽车为0.5%。通过这些概率，教师模型有效地向学生模型展示了狗与猫非常相似，与牛不那么不同，而与汽车截然不同。研究者发现，这些信息有助于学生更高效地学习识别狗、猫、牛和汽车的图像。大型复杂模型可以被简化为一个更精简的模型，几乎不会损失准确性。
(以上内容均由Ai生成)
