产品信息
什么是 Text generation web ui?
用于大型语言模型的Gradio Web UI。
它的目标是成为文本生成的自动1111/稳定的扩散 - Webui。
特征
3个接口模式：默认（两列），笔记本和聊天
多个模型后端：变形金刚，Llama.cpp，Exllama，Exllamav2，AutoGPTQ，GPTQ-FOR-LALLAMA，CTRANSFORMERS
下拉菜单，用于在不同型号之间快速切换
洛拉：即时加载和卸载洛拉斯，使用Qlora训练新的Lora
聊天模式的精确指令模板，包括Llama-2-Chat，羊驼，Vicuna，Wizardlm，Stablelm等
通过变形金刚库的4位，8位和CPU推断
使用llama.cpp型号与变压器采样器（Llamacpp_hf加载器）
多模式管道，包括Llava和Minigpt-4
扩展框架
自定义聊天字符
非常有效的文本流
用乳胶渲染的降级输出，例如与alaractica一起使用
API，包括Websocket流的端点（请参阅示例）
如何使用 Text generation web ui?
Text generation web UI 是一个基于 Gradio 的大型语言模型网页界面，旨在成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。它提供多种模型后端支持、LoRA训练、聊天模式和多模态功能。
Text generation web ui 的核心功能
注重隐私
无需注册
暗色模式
无跟踪
支持插件/扩展
无广告
注重隐私，无需注册，暗模式，无追踪，可通过插件/扩展进行扩展，无广告
Text generation web ui 的使用场景
- 与大型语言模型进行聊天交互。
- 训练新的LoRA模型。
- 进行多模态任务，如使用LLaVA和MiniGPT-4。
- 离线使用，保护隐私。
- 通过API进行文本流式传输。
- 利用Markdown输出和LaTeX渲染进行文本展示。
Text generation web ui 的常见问题
Text generation web UI做什么的？
我如何使用Text generation web UI？
Text generation web UI有哪些核心功能？
Text generation web UI有哪些应用场景？
