Оркестратор рабочих процессов Apache Airflow, интегрированный с Git, служит для запуска пакетных заданий.
С его помощью осуществляется обучение, верификация и пакетное применение моделей на ресурсах кластера Kubernetes, в том числе с использованием промышленных фреймворков обработки данных, например Apache Spark, ETL процессы и многое другое.
GitOps пайплайны как код
Пайплайны как код
DAG описываются в Git: версионирование, code-review и автоматический деплой изменений в оркестратор
Обучение по расписанию
Регулярное переобучение и верификация моделей на свежих данных с контролем качества перед публикацией
Batch inference
Пакетное применение моделей к миллионам записей с записью результатов в DWH или витрины данных