产品信息
什么是 Litellm?
Python SDK，代理服务器（LLM Gateway）以Openai格式致电100+ LLM API- [BedRock，Azure，Openai，openai，vertexai，Cohere，cohere，人类，sagemaker，sagemaker，huggingface，replicate，groq，groq]
如何使用 Litellm?
LiteLLM是一个Python SDK和代理服务器（LLM网关），旨在简化对100多种大型语言模型（LLM）API的调用，并以OpenAI格式统一管理。它提供模型访问、故障转移、成本跟踪、负载均衡和认证管理等功能。
Litellm 的核心功能
网关
Litellm 的使用场景
- 平台团队为开发者提供统一的LLM访问接口，如Azure、Gemini、Bedrock、OpenAI和Anthropic。
- 准确追踪并向团队收取LLM使用费用，并可将成本归因于特定的密钥、用户、团队或组织。
- 在多个LLM之间实现负载均衡和故障转移，确保服务的稳定性和可用性。
- 管理LLM的认证、预算和速率限制，控制使用成本和频率。
- 将LLM使用日志记录到S3等存储服务，便于审计和分析。
Litellm 的常见问题
LiteLLM做什么的？
我如何使用LiteLLM？
LiteLLM有哪些核心功能？
LiteLLM有哪些应用场景？
