BentoML

BentoML 是构建可靠，可扩展和成本效益的AI应用程序的框架。它提供了您所需的模型服务，应用程序包装和生产部署所需的一切。 亮点 Bento是AI应用程序的容器 打开AI应用程序的打开标准和SDK，在Bento中打包您的代码，推理管道，模型文件，依赖项和运行时配置。 自动生成的API服务器，支持REST API，GRPC和长期运行的推理工作。 自动生成的Docker容器图像。 🏄自由使用任何AI模型建造 从任何模型中心导入或带来自己的型号，构建了Pytorch，Tensorflow，Keras，Scikit-Learn，Xgboost等框架。 对LLM推理，生成AI，嵌入创建和多模式AI应用程序的本机支持。 在Mac，Windows或Linux上本地运行并调试您的BentoML 应用程序。 🍭简化了现代AI应用程序体系结构 python-first！毫不费力地扩展复杂的AI工作负载。 启用无头痛的GPU推理。 组成多个模型，以在多个GPU或Kubernetes群集上同时或顺序运行。 与MLFlow，Langchain，Kubeflow，Triton，Spark，Ray等本地集成在一起，以完成您的生产AI堆栈。 🚀部署任何地方 一单击部署到？ Bentocloud，无服务器平台，可托管和操作AI应用程序。 可扩展的BentoML 用🦄部署？ Yatai在Kubernetes上。 Docker运行的任何地方都会部署自动生成的容器图像。

BentoML是一个用于构建可靠、可扩展、经济高效的AI应用的框架，它提供模型服务、应用打包和生产部署所需的一切，帮助软件工程师简化AI产品的开发和部署。