Development
Платформа Neoflex Dognauts предоставляет возможность создавать и управлять серверами с интегрированными средами разработки одного из типов: Jupyter или Visual Studio Code.
С их помощью можно разрабатывать, обучать и верифицировать модели машинного обучения, а также разрабатывать скрипты для их применения.
Model Registry
Сервер MLflow уровня Enterprise, интегрированный в платформу, позволяет отслеживать эксперименты и вести реестр моделей.
MLflow также предоставляет централизованную аутентификацию и авторизацию, интерфейс для удобного визуального представления залогированных графиков и метрик, а также интерфейс для ведения карточки модели, интегрированный с Model Registry.
Pipelines
Оркестратор рабочих процессов Apache Airflow, интегрированный с Git, служит для запуска пакетных заданий.
С его помощью осуществляется обучение, верификация и пакетное применение моделей на ресурсах кластера Kubernetes, в том числе с использованием промышленных фреймворков обработки данных, например Apache Spark, ETL процессы и многое другое.
Online Inference
Seldon Core Operator обеспечивает эксплуатацию моделей в онлайн режиме. Вы можете создать из модели REST-сервис без программирования, просто выбрав одну из моделей, залогированных в MLflow, либо описать и развернуть сложный граф применения модели, включающий трансформацию запросов и ответов, каскад моделей или A/B-тестирование нескольких версий.
Для высоконагруженного инференса платформа также поддерживает Triton Inference Server. Он обеспечивает эффективное использование вычислительных ресурсов и предоставляет единый интерфейс доступа к моделям. В веб-интерфейсе Triton вы можете просматривать список активных моделей, получать детальную информацию о каждой и управлять параметрами конфигурации.
Feature Store
Feature Store на базе технологии Feast позволяет организовать централизованный каталог признаков (features) для обучения и применения моделей, производить материализацию данных из исторического в оперативное хранилище и получение данных для онлайн применения моделей с помощью единого API.
В платформе доступен пользовательский интерфейс для визуализации созданного каталога.
Model Monitoring
Neoflex Dognauts предоставляет функционал мониторинга моделей, эксплуатируемых с помощью платформы, на основе Evidently, Grafana, Prometheus, Jaeger.
Платформа обеспечивает создание мониторов для анализа дрифта данных, оценки корректности предсказаний моделей, их технических метрик и многого другого, а также позволяет настраивать уведомления по интересующим вас событиям мониторинга.