Mirage AI 只需一个文本提示即可立即转换实时视频

快速阅读: 《eWeek 系列》消息，以色列初创公司Decart推出AI工具Mirage，可实时将直播视频转换为动漫或赛博朋克风格。其基于MirageLSD模型，每秒生成20帧，延迟仅100毫秒。

据Decart公司消息，近日，以色列初创公司Decart推出了一款名为Mirage的新AI工具，能够在直播中实时转换视频风格。用户只需输入简单的文本提示，即可将直播画面变为动漫或赛博朋克风格。这款工具基于Decart开发的实时流扩散AI视频模型MirageLSD，能够以768×432分辨率每秒生成20帧的画面。

Decart团队在博客中表示，为了达到实时效果，每帧必须在40毫秒内生成，以避免被人类视觉察觉。视频演示展示了Mirage将《我的世界》的游戏画面变为奇幻雪景，将《使命召唤》的战场变为粉色草地，并以多种动漫风格重新演绎One Direction的歌曲《What Makes You Beautiful》。这些效果通过因果自回归方法实现，即每帧生成都以前一帧为参考。

与其他视频到视频AI工具相比，Mirage在实时性方面取得了突破。传统工具由于使用自动回归模型，在直播中容易积累错误，导致视频质量下降。Mirage通过两项创新解决了这一问题：一是扩散技术，使模型在不依赖完整上下文的情况下清理噪声帧；二是历史增强技术，使模型能够识别并修复过去的错误，防止视频质量随时间下降。

此外，Mirage在处理速度上也有显著优势。传统AI工具处理几秒钟的视频可能需要几分钟，而Mirage的延迟仅为100毫秒左右，包括处理时间和系统开销。Decart通过减少生成每帧所需的步骤并优化模型运行效率实现了这一点，同时对NVIDIA Hopper芯片进行了底层GPU代码优化，进一步提升了速度和降低了延迟。

Decart表示，未来将支持全高清和4K视频的实时转换。对于使用Mirage实时转换视频的主播，YouTube平台表示，只要内容不是“不真实”的，AI生成的内容是可以接受的。

(以上内容均由Ai生成)