南洋理工联手北大推出开源长记忆模型 提升虚拟场景一致性

快速阅读: 据相关媒体报道，南洋理工大学等联合发布“WORLDMEM”长记忆世界模型，解决虚拟环境长期一致性问题，提升用户体验。其创新记忆机制可保持3D空间连贯性，支持动态更新与精准场景重建。

近日，南洋理工大学、北京大学王选计算机技术研究所与上海人工智能实验室的研究人员联合发布了名为“WORLDMEM”的长记忆世界模型。这一新模型旨在解决虚拟环境中长期一致性的问题，特别是在视角变化或时间推移的情况下，仍能维持3D空间的连贯性，从而显著提升用户体验。

WORLDMEM的核心在于其创新的记忆机制。该机制构建了一个包含多个记忆单元的存储库，每个单元储存了与特定时间相关的场景信息和状态数据。通过这一机制，模型能够从之前观察到的场景中提取信息，并在视角或时间变化时重新构建出精确的场景。这种方式突破了传统方法对短时间上下文窗口的限制，使得长期保留环境细节成为可能。

在生成新场景时，WORLDMEM的记忆机制能够从庞大的记忆库中快速检索与当前场景最相关的信息。这一过程涉及复杂的推理和匹配，以确保所提取的信息与当前的时间、视角和场景状态相契合。例如，当虚拟角色在环境中移动后返回原位置时，模型会迅速找到先前的记忆帧，确保场景的连贯性和一致性。

此外，WORLDMEM具备动态更新的能力，随着虚拟世界的发展，新的场景和信息会不断被添加到记忆库中。这一特性保证了模型对最新环境状态的准确记录，从而提升了场景生成的质量。该模型采用了基于条件扩散变换器的架构，能够整合外部动作信号，实现虚拟世界的第一人称视角生成，使得角色可以灵活地在虚拟环境中移动和互动。

WORLDMEM还使用了扩散强迫技术进行训练，使得模型能够在时间维度上进行长期模拟。这一训练方式确保了场景生成的连贯性，并使模型能够有效应对不同的动作指令和场景变化。通过将动作信号投影到嵌入空间，并结合去噪时间步嵌入，模型提升了对动作信号的响应能力。

WORLDMEM的发布标志着虚拟环境模拟技术的一次重要进步，为未来的虚拟现实应用提供了强大的支持。

(以上内容均由AI生成)