Data Internals X

Apache Airflow — популярный инструмент для планирования и оркестрации задач. Несмотря на низкий порог входа, он требует базовых знаний Python, что может затруднять его использование аналитиками и увеличивать нагрузку на инженеров.
В докладе будет рассказано, как нам удалось сделать Airflow удобным не только для разработчиков, но и для аналитиков, переведя типовые сценарии в формат YAML-конфигураций. Вы узнаете:
· как перейти от ручного написания DAG к self-service автоматизации;
· как обеспечить масштабируемость, безопасность и управляемость решений;
· с какими техническими вызовами мы столкнулись при миграции мажорных версий;
· какой опыт эксплуатации был получен за 5 лет использования одного из внутренних решений.
Доклад будет интересен инженерам и аналитикам, которые хотят сделать оркестрацию процессов более доступной и управляемой.