Apple Ferret

端到端的MLLM，接受任何形式的响应和基础。 主要贡献： 雪貂模型 - 杂种区域表示 +空间感知的视觉采样器可在MLLM中进行细粒度和开放式摄影作用和接地。 砂砾数据集（〜1.1m） - 一个大规模，分层，稳健的地面和提示指令调谐数据集。 Ferret -Bench-一个多模式评估基准，共同需要参考/接地，语义，知识和推理。 用法和许可声明：数据和代码仅用于研究使用和许可。它们还仅限于遵循Llama，Vicuna和GPT-4的许可协议的使用。该数据集由NC 4.0（仅允许非商业用途）为CC，并且不应在研究目的之外使用使用数据集进行培训的模型。

Apple Ferret 是一个端到端的多模态大语言模型（MLLM），能够接受任何形式的指代并进行响应定位，其核心价值在于实现细粒度、开放词汇的指代与定位能力。