W.A.L.T Video Diffusion

W.A.L.T是一种基于变压器的方法，用于通过扩散建模，用于影片视频的生成。它使用因果编码器将图像和视频压缩到统一的潜在空间中，以及用于关节空间和时空生成建模的窗户注意体系结构。 这种设计允许在没有分类器无指导的情况下进行视频（UCF-101和Kinetics-600）和Image（Imagenet）生成基准的最佳性能。我们还使用三型模型级联对于文本到视频的生成，以每秒8帧的速度生成512 x 896分辨率视频。

W.A.L.T Video Diffusion 是一种基于 Transformer 的扩散模型方法，专注于生成逼真的视频。它通过将图像和视频统一压缩到潜在空间，并利用窗口注意力架构，实现了高质量的视频和图像生成。