NVIDIA发布Cosmos DiffusionRenderer，革新视频渲染技术

快速阅读: 近期，NVIDIA 推出 Cosmos DiffusionRenderer，升级原有 DiffusionRenderer 技术，提供高质量图像和视频去光源及重光源处理，需 Python 3.10 和 16GB 显存 GPU，支持多种环境光照地图。

近期，NVIDIA 推出了 Cosmos DiffusionRenderer，这是一种用于实现高质量图像和视频去光源及重光源处理的新视频扩散框架。该技术对 NVIDIA 原有的 DiffusionRenderer 方法进行了重大更新，通过改进数据策划流程，显著提升了渲染效果。

使用 Cosmos DiffusionRenderer 需要满足一些基本的安装要求，包括 Python 3.10 和至少 16GB 显存的 NVIDIA GPU。推荐使用至少 24GB 显存的显卡。此外，还需安装 NVIDIA 驱动和 CUDA 12.0 或更高版本，并确保有至少 70GB 的空闲磁盘空间。

用户可以通过创建名为“cosmos-predict1”的 conda 环境并安装相关依赖包来进行设置。安装完成后，用户需要从 Hugging Face 下载模型权重。下载后，用户可以开始进行推断，利用 DiffusionRenderer 对图像进行去光源和重光源处理。

在图像推断过程中，用户可以使用已训练的逆渲染模型，从输入图像中提取基础颜色、法线、深度等 G 缓冲区信息。通过命令行操作，用户可以轻松处理特定文件夹中的图像，并将结果保存到指定的输出文件夹。

完成逆渲染后，用户可以使用前向渲染器对图像进行重光源处理。此时，用户可以选择自定义的环境光照地图进行渲染，以产生不同的重光源效果。

如果用户希望处理视频，可以先将视频中的帧提取出来，然后依次对每一帧进行逆渲染和重光源处理。整个过程支持多个环境光源的选择，并能生成相应的重光源视频。

Cosmos DiffusionRenderer 不仅为用户提供了极大的灵活性和创造性，还显著提升了渲染质量。该技术的推出标志着视频渲染技术的重大进展，未来有望在各种视觉效果创作中发挥重要作用。

项目地址：https://github.com/nv-tlabs/cosmos1-diffusion-renderer

要点：

– 该技术是 NVIDIA 原有 DiffusionRenderer 的重大升级，提供更高质量的图像和视频渲染。

– 用户需安装 Python 3.10 和至少 16GB 显存的 NVIDIA GPU，并创建相关的 conda 环境。

– 支持对图像和视频进行去光源及重光源处理，并能使用多种环境光照地图进行渲染。

(以上内容均由Ai生成)