蒸馏技术让AI模型更小更便宜
发布时间：2025年9月20日 来源：szf
快速阅读: 维尼尔斯开发方法，使大型教师模型通过“软目标”概率向小型学生模型传递更多信息，提升图像类别识别效率，简化模型同时保持高准确性。
在与辛顿讨论这一可能性后，维尼尔斯开发了一种方法，让大型教师模型能够向小型学生模型传递更多关于图像类别的信息。关键在于聚焦于教师模型中的“软目标”——即它为每种可能性分配概率，而不是给出确定的答案。例如，一个模型计算出一张图片有30%的可能性是狗，20%的可能性是猫，5%的可能性是牛，0.5%的可能性是车。通过使用这些概率，教师模型有效地向学生模型展示了狗与猫非常相似，与牛有些不同，而与车则截然不同。研究者发现，这些信息有助于学生模型更高效地学习识别狗、猫、牛和车的图像。大型复杂模型可以简化为更精简的模型，几乎不会损失准确性。
(以上内容均由Ai生成)
