Data Internals X

В Яндекс Go мы строим единую платформу обработки данных для нескольких бизнесов (Такси, Еда, Лавка, Доставка и др.), которая предоставляется нашему ключевому пользователю, инженеру данных, как решение «под ключ», как единое рабочее место (фреймворк и сервисы) для batch и streaming поставки и обработки данных.

В своем докладе я хочу поделиться опытом расширения устроившейся и зрелой платформы данных для batch’а принципиально другим сценарием — streaming’ом. Я расскажу о том, какая была мотивация интегрировать Apache Flink в единое решение для обработки данных, какие есть плюсы и минусы такого подхода и почему мы верим в то, что это было правильным решением и планируем его активно развивать в будущем.

Этот доклад может быть интересен практикующим инженерам данных, техлидам и архитекторам, руководителям DWH, а может даже и CTO.