Janus

统一的多模式理解和生成模型。Janus 是一个新颖的自动回归框架，可以统一多模式的理解和产生。它通过将视觉编码解码为单独的路径来解决以前方法的局限性，同时仍利用单个统一的变压器体系结构进行处理。脱钩不仅减轻了视觉编码器在理解和发电中的作用之间的冲突，而且还可以增强框架的灵活性。Janus 超过了先前的统一模型，并超过了特定于任务模型的性能。Janus 的简单性，高灵活性和有效性使其成为下一代统一多模型的有力候选者。 Janusflow推出了一种简约的体系结构，该体系结构将自回归语言模型与整流流程（一种生成建模的最新方法）集成在一起。我们的关键发现表明，可以在大型语言模型框架中直接训练整流的流程，从而消除了对复杂的建筑修改的需求。广泛的实验表明，Janusflow具有与其各自域中的专业模型相当或出色的性能，同时显着超过了跨标准基准的现有统一方法。这项工作代表了迈向更高效，更通用的视觉语言模型的一步。Janus -pro是先前工作的高级版本Janus。具体而言，Janus -Pro结合了优化的培训策略，扩展培训数据并扩展到更大的模型大小。通过这些改进，Janus -pro在多模式理解和文本对图像遵循的能力方面都取得了重大进步，同时也增强了文本对图像生成的稳定性。

Janus是一个统一的多模态理解和生成模型，它通过解耦视觉编码路径，解决了传统方法的局限性，并提升了灵活性和性能，能够实现多模态内容的理解与生成。