NVIDIA 通过神经压缩解锁更高质量的纹理 节省 4 倍显存

(资料图片)

如果您阅读此站点，您很可能在某个时候玩过神经图像放大器。这些程序，如流行的“waifu2x”，使用预训练的神经网络来放大图像，而不会引入模糊、像素化伪影或过多噪声，从而为您提供干净的放大图像。

如果我们可以使用神经网络来改进视频游戏纹理会怎样?这基本上就是 NVIDIA 新白皮书提出的问题。这篇题为“材质纹理的随机访问神经压缩”的论文描述了一种压缩游戏材质纹理的新方法，与传统的基于块的压缩方法相比，它可以在相同的空间中存储多达 16 倍的数据。

如果您阅读以上内容，您可能希望我告诉您 NVIDIA 只是在低细节存储纹理上运行神经放大。需要明确的是，这不是正在发生的事情;事实上，它甚至还差得远。相反，NVIDIA 的研究人员使用 AI 作为他们的手术刀来解决纹理压缩问题，以消除旧纹理压缩方法的不足，并仅存储绝对必要的数据。

这种新方法确实是一种纹理压缩方法。研究人员表示，它“在 mipmap 级别和不同的材料通道上利用空间冗余。” 他们接着说，它甚至优于 AVIF 和 JPEG XL 等现代图像压缩格式，同时仍然适用于随机访问的实时解压缩。他们必须创建自己的解码器架构和高度优化的 GPU 压缩器。

神经图像放大器的主要问题之一是，虽然它们通常具有高度的感知质量——换句话说，它们的输出“看起来不错”——但就客观细节而言，它实际上往往与原始图像相去甚远。这种“客观失真”是作者的主要关注点，降低这种质量以使最终输出图像非常接近源是当务之急。

关键词：