混元开源新方案 MixGRPO：训练效率大幅提升，性能反而更强

快速阅读: 近日，腾讯混元基础模型团队发布图像生成新框架MixGRPO，将训练时间缩短近50%，性能优异，并推出变体MixGRPO-Flash，进一步降低训练时间71%。创新采样策略结合SDE和ODE，优化MDP，提高训练效率。

近日,腾讯的混元基础模型团队发布了一项突破性的图像生成新框架 MixGRPO。这一方案不仅将训练时间缩短了近50%,而且在性能上表现优异,甚至推出了一个名为 MixGRPO-Flash 的变体,进一步将训练时间降低了71%。这一切,得益于他们将随机微分方程(SDE)和常微分方程(ODE)相结合的创新采样策略。

在当前的图像生成技术中,效率与质量常常是一对矛盾的存在。MixGRPO 通过引入混合采样的方法,优化了马尔可夫决策过程(MDP),使得训练效率得到了显著提升。具体而言,该框架通过限制智能体的随机探索范围,减少了优化过程中的计算开销,同时简化了模型的训练流程。

与之前的 DanceGRPO 模型相比,MixGRPO 在多个维度上都表现出显著的改善。研究团队在实验证明了,只需对特定的去噪步骤进行优化,就能够保持甚至提升性能。研究还指出,虽然 MixGRPO 在减少训练时间的同时降低了计算开销,但也需要高阶求解器的引入,以加速旧策略模型的采样。

此外,MixGRPO 采用了滑动窗口的策略,让模型能够在去噪的过程中逐渐聚焦于更关键的时间步,从而实现了更高效的优化。这一创新使得模型在图像生成的多样性和质量上都有了不小的进步。

MixGRPO 不仅为图像生成技术的未来开辟了新的方向,也为后续研究提供了宝贵的经验和借鉴。开源代码已在文章末尾提供,期待更多开发者加入到这一激动人心的技术探索中来。

项目地址:https://tulvgengenr.github.io/MixGRPO-Project-Page/

(以上内容均由Ai生成)