产品信息
什么是 Cactus?
用于在应用程序中本地部署LLM/VLM/TTS模型的跨平台框架。
可用于幻影和反应，可用于跨平台开发人员。
支持您在HuggingFace上可以找到的任何GGGUF模型； Qwen，Gemma，Llama，DeepSeek等
运行LLM，VLM，嵌入模型，TTS模型等。
可容纳FP32至2位量化模型，以提高效率和较小的设备应变。
MCP工具呼叫以使AI表演和乐于助人（设置提醒，画廊搜索，答复消息）等。
回到大型云模型，用于复杂任务和设备故障。
使用Jinja2支持和令牌流聊天模板。
如何使用 Cactus?
Cactus是一个跨平台框架，旨在帮助开发者在智能手机应用中本地部署大型语言模型（LLM）、视觉语言模型（VLM）和文本转语音（TTS）模型，从而实现低延迟、高隐私和降低服务器成本。
Cactus 的核心功能
文本转语音
React Native
Cactus 的使用场景
- 在智能手机应用中本地部署AI模型。
- 在网络不可靠或无网络的设备上运行AI功能。
- 确保用户数据隐私，进行设备端推理。
- 通过内置工具调用增强工作流程，例如设置提醒、图库搜索、回复消息。
- 部署多模态模型，包括语言、视觉和语音模型。
- 在复杂任务或设备故障时，回退到云端模型进行推理。
Cactus 的常见问题
Cactus做什么的？
我如何使用Cactus？
Cactus有哪些核心功能？
Cactus有哪些应用场景？
