Airflow еще доступнее: опыт self-service-оркестрации в Lemana Tech
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Apache Airflow — популярный инструмент для планирования и оркестрации задач. Несмотря на низкий порог входа, он требует базовых знаний Python, что может затруднять его использование аналитиками и увеличивать нагрузку на инженеров.
В докладе будет рассказано, как нам удалось сделать Airflow удобным не только для разработчиков, но и для аналитиков, переведя типовые сценарии в формат YAML-конфигураций. Вы узнаете:
* как перейти от ручного написания DAG к self-service-автоматизации;
* как обеспечить масштабируемость, безопасность и управляемость решений;
* с какими техническими вызовами мы столкнулись при миграции мажорных версий;
* какой опыт эксплуатации был получен за 5 лет использования одного из внутренних решений.
Доклад будет интересен инженерам и аналитикам, которые хотят сделать оркестрацию процессов более доступной и управляемой.
Пришел в инжиниринг данных из бизнес-аналитики.
Читает курс «Обработка больших данных» в МГТУ им. Н.Э. Баумана.
Видео
Другие доклады секции
Практические примеры внедрений
