Seldon Core Operator обеспечивает эксплуатацию моделей в онлайн режиме. Вы можете создать из модели REST-сервис без программирования, просто выбрав одну из моделей, залогированных в MLflow, либо описать и развернуть сложный граф применения модели, включающий трансформацию запросов и ответов, каскад моделей или A/B-тестирование нескольких версий.

Для высоконагруженного инференса платформа также поддерживает Triton Inference Server. Он обеспечивает эффективное использование вычислительных ресурсов и предоставляет единый интерфейс доступа к моделям. В веб-интерфейсе Triton вы можете просматривать список активных моделей, получать детальную информацию о каждой и управлять параметрами конфигурации.



0 строк кода для REST-сервиса

A/B тесты версий