产品信息
什么是 Osaurus?
本机，Apple Silicon-仅本地LLM服务器。与Ollama类似，但建立在Apple的MLX上，以在M系列芯片上发挥最大性能。 SwiftUi App + Swiftnio服务器具有兼容OpenAI兼容的端点。
由Dinoki创建，Dinoki是一个完全本地的桌面AI助手和同伴。
亮点：
本机MLX运行时：使用MLX/MLXLLM优化苹果硅
仅苹果硅：针对M系列Mac设计和测试
OpenAI API兼容：/V1/型号和/V1/CHAT/CONTEMITS（流和非流）
函数/工具调用：OpenAI风格的工具 + Tool_Choice，带有工具_CALLS解析和流式传输deltas
聊天模板：使用BOS/EOS使用模型提供的Jinja Chat_Template，带有智能后备
会话重复使用（KV缓存）：通过Session_ID更快的多转聊聊天
快速令牌流：低延迟输出的服务器范围事件
Model Manager UI：从MLX-Community浏览，下载和管理MLX模型
系统资源监视器：实时CPU和RAM使用可视化
独立的：带有嵌入式Swiftnio HTTP服务器的Swiftui应用程序
如何使用 Osaurus?
Osaurus是一个专为Apple Silicon芯片设计的本地LLM服务器，利用Apple的MLX框架提供最大性能，并兼容OpenAI API。它旨在为桌面AI助手等应用提供高效、本地化的语言模型运行能力。
Osaurus 的核心功能
深色模式，位于菜单栏，AI驱动，集成OpenAI，支持Apple Silicon
Osaurus 的使用场景
- 在Apple Silicon Mac上本地运行大型语言模型。
- 为AI助手提供多轮对话能力，并加速会话响应。
- 通过OpenAI API兼容接口，将本地LLM能力集成到其他应用。
- 本地管理、浏览和下载MLX社区的模型。
- 支持AI助手执行自主任务和工具调用。
- 为AI伴侣应用提供个性化和隐私优先的本地AI能力。
Osaurus 的常见问题
Osaurus做什么的？
我如何使用Osaurus？
Osaurus有哪些核心功能？
Osaurus有哪些应用场景？
