llamafile

llamafile 可让您使用一个文件分发和运行llms，提供与OpenAI兼容的API以及Koboldai API。 我们的目标是使AI开发人员实现“在任何地方建造，在任何地方奔跑”。我们通过将Llama.cpp与Cosmopolitan Libc结合到一个框架中来做到这一点，该框架使您可以为LLMS构建应用程序作为单文件伪像，该应用在大多数PC和服务器上本地运行并提供 首先，您的Llamafiles可以在多个CPU微体系中运行。我们将运行时调度添加到Llama.cpp，该cpp允许新的英特尔系统使用现代CPU功能，而无需交易对旧计算机的支持。 其次，您的Llamafiles可以在多个CPU架构上运行。我们通过将AMD64和ARM64的串联构建来构建，以启动合适的脚本来做到这一点。我们的文件格式与Win32和大多数Unix壳兼容。在需要时，它也可以轻松地（由您或您的用户）转换为平台本地格式。 第三，您的Llamafiles可以在六个OS（MacOS，Windows，Linux，FreeBSD，OpenBSD和NetBSD）上运行。您只需要使用Linux风格的工具链构建一次代码即可。我们提供的基于GCC的编译器本身实际上是可携带的可执行文件，因此您可以从最喜欢开发的任何一个舒适度中为所有六个OS构建软件。 最后，LLM的权重可以嵌入您的llamafile 中。我们在GGML库中增加了对PKZIP的支持。这使得未压缩的权重被直接映射到内存中，类似于自我提取的存档。它使在线分发的量化权重可以与llama.cpp软件的兼容版本进行前缀，从而确保可以无限期地复制其最初观察到的行为。

Llamafile 旨在帮助AI开发者将大型语言模型（LLMs）打包成单个文件进行分发和运行，提供OpenAI和KoboldAI兼容的API，实现AI应用的“一次构建，随处运行”目标。