Minigpt-4

通过先进的大语言模型增强视觉理解。 我们目前正在准备一个可以在单个3090 GPU上运行的更轻的型号，您将可以在自己的机器上运行。请访问我们的GitHub页面，以保持更新。Minigpt-4 仅使用一个投影层将来自Blip-2的冷冻视觉编码器与冷冻LLM Vicuna对齐。 我们使用两个阶段来训练Minigpt-4。使用4 A100的第一个传统预处理阶段使用大约500万个对齐的图像文本对训练。在第一阶段之后，维库纳能够理解图像。但是维库纳的产生能力受到了严重影响。 为了解决这个问题并提高可用性，我们提出了一种新颖的方式来通过模型本身创建高质量的图像文本对并将其一起聊天。基于此，我们创建了一个小的（总共3500对）但高质量的数据集。 第二个填充阶段在该数据集中在对话模板上进行了培训，以显着提高其发电性可靠性和整体可用性。令我们惊讶的是，这个阶段在计算上是有效的，只有一个A100大约需要7分钟。Minigpt-4 产生的许多新兴视觉语言功能类似于GPT-4中所示的功能。

Minigpt-4是一个利用先进大型语言模型增强视觉-语言理解能力的产品。它通过将冻结的视觉编码器与冻结的大型语言模型Vicuna对齐，实现类似GPT-4的多模态功能，如生成详细图像描述和从手写草稿创建网站。