快速阅读: 《科学日报》消息，研究显示，更新深度学习模型比从头开始训练新模型更具经济效益。北卡罗来纳州立大学的金正恩教授开发了一种新技术RESQUE，能预测更新所需的计算和能源成本。实验表明，RESQUE的预测与实际成本高度一致。这一工具可帮助用户更好地规划更新，提高深度学习模型的可持续性。
已有研究表明，提升深度学习模型训练的效率是关键所在。北卡罗来纳州立大学计算机科学助理教授、该论文通讯作者金正恩（Jung-Eun Kim，音译）指出:“然而，在模型的生命周期中，它很可能会经历多次更新。其中一个原因是，正如我们的工作所展示的，重新训练现有的模型相较于从头开始训练新模型要经济得多。如果我们想解决与深度学习人工智能相关的可持续性问题，就必须考虑到整个生命周期中的计算和能源成本——包括与更新相关的成本。如果你无法提前预估这些成本，便不可能进行那种能使可持续性努力成为可能的规划。这使得我们的工作显得尤为重要。”
训练深度学习模型是一个极其消耗计算资源的过程，用户们都希望能尽量避免更新人工智能。然而，存在两种类型的转变可能会导致这些更新变得不可避免。首先，人工智能执行的任务可能需要进行修改。例如，如果一个模型最初的任务只是分类数字和交通标志，那么你可能需要修改任务以识别车辆和行人。这被称为任务转换。其次，用户提供的模型数据可能会发生变化。例如，你可能需要使用一种新的数据类型，或者处理的数据编码方式发生了变化。无论如何，人工智能需要更新以适应这些变化。这被称为分布转换。
“无论是什么原因促使了更新的需求，让人工智能从业者能够对更新所需的计算需求有一个现实的估计是非常有价值的，”金教授说，“这可以帮助他们做出明智的决定，确定何时进行更新，以及需要为更新预留多少计算资源。”
为了预测计算和能源成本，研究人员开发了一种名为REpresentation Shift QUantifying Estimator（RESQUE）的新技术。简而言之，RESQUE允许用户比较深度学习模型最初训练的数据集与将用于更新模型的新数据集。这种比较以一种估算更新相关的计算和能源成本的方式进行。这些成本被表示为单一的指数值，然后可以与五个指标进行对比:周期数、参数变化、梯度范数、碳排放和能源。周期数、参数变化和梯度范数都是衡量重新训练模型所需计算工作量的方法。
“然而，为了在更广泛的可持续性背景下提供见解，我们还告知用户重新训练模型所需的千瓦时能源量，”金教授说，“我们预测释放了多少千克的碳以提供这些能源。”
研究人员进行了涉及多个数据集、多种不同的分布转换和任务转换的广泛实验，以验证RESQUE的性能。“我们发现RESQUE的预测与实际深度学习模型更新的真实成本高度一致，”金教授说，“此外，正如我之前提到的，我们所有的实验结果都告诉我们，从头开始训练新模型比重新训练现有模型需要更多的计算能力和能源。”
短期内，RESQUE是一种对任何需要更新深度学习模型的人都非常有用的方法。“RESQUE可用于帮助用户预算更新所需的计算资源，并让他们预测更新所需的时间等，”金教授说，“从更广阔的角度来看，这项工作提供了对整个生命周期中深度学习模型相关成本的更深入理解，这有助于我们做出关于模型及其使用的可持续性的明智决策。因为如果我们要让人工智能既实用又可行，这些模型不仅必须具有灵活性，还必须具备可持续性。”
(以上内容均由Ai生成)
