LocalAI

置换式API，与消费者等级硬件的本地/本地推断，支持与GGGUF这样的标准格式兼容的多个模型系列和后端。 简而言之： 本地的OpenAi插入替代REST API。您拥有数据。 无需GPU和本地/内设备推理（离线）。 可选的GPU/NPU加速度可在Llama.CPP兼容的LLM中获得。另请参见“构建”部分。 模型推理管道/后端不可知论！ （通过Gallery Webui或通过CLI安装推理后端） 任务类型的支持： 文本生成（带有Llama.cpp，Transformers，vllm，exllama2，gpt4all.cpp ...等等） 文字到音频： 声音/音乐发电（变形金刚 - 穆斯基） 语音产生（Whisper，Bark，Piper，Bark.cpp） 对文本的语音（即：转录，whisper.cpp等...） 使用扩散器/稳定 - 扩散器的图像生成。CPP（文本对图像，图像到图像等...） 文本嵌入（带有句子式变压器，变形金刚） 文本重新列表（Rerankers，sencencetransformers） 第一次加载后，它将模型加载到内存中以获得更快的推理 分布式推理（联合和P2P模式） 附加说明： 性能/吞吐量可能会因选择的推理管道而有所不同，您可以使用诸如llama.cpp之类的基于c/c ++的管道来更快地推断，并且更好的性能阅读LocalAI docs以获取最新信息。

LocalAI是一个与OpenAI API兼容的开源替代方案，允许用户在本地硬件上运行大型语言模型、图像和音频生成等AI模型，实现数据隐私和无云依赖的AI推理。