BENTOML

Framework packaging serving models REST.

Définition

BentoML expose @bentoml.service decorator pour exposer un modèle. Bento Studio (managed cloud) pour deploy. BentoCloud production-grade. Optimizations : adaptive batching, model parallelism, GPU sharing. Concurrent direct Modal, Replicate, Anyscale, Ray Serve.

Origine

Créé par Chaoyu Yang en 2019 ; v1.0 publié en septembre 2023.

Exemple en contexte

Une fintech package son modèle XGBoost de fraud detection avec BentoML et l'expose en REST à 10K req/sec.

Termes liés

• Sagemaker — concurrent AWS managed.