Data Internals X

DataPortal: как мы навели порядок в задачах DQ, DataLineage и DataCatalog

Резерв

Аналитика / другое
ETL
Хранилища
Обработка данных
YTSaurus

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как навести порядок в сложных и разнообразных процессах работы с DWH? Может ли инструмент стать фундаментом выстраивания процессов? Коллеги из Дзен создали DataPortal и доказали, что может.

Целевая аудитория

Дата инженеры, руководители DWH-отделов.

Тезисы

В докладе поделюсь проблемами, с которыми мы столкнулись до появления аналитического DWH-контура: разрозненные источники данных, сложность интеграции и отсутствие единой точки доступа. Расскажу, как мы видели решение этих проблем через построение централизованного хранилища и выбор подходящих инструментов, а также поделюсь итоговой архитектурой, которая позволила упростить миграции между инструментами и повысить гибкость аналитической инфраструктуры.

Особое внимание уделю сервисам, которые мы внедрили для аналитиков, включая внутренний Data Portal, созданный практически полностью с помощью GPT человеком без опыта в веб-разработке, что значительно ускорило процесс и расширило возможности команды.

Руководитель группы технической аналитики, которая состоит из двух команд — DWH и Антифрод.
До Дзена работал в сферах HR-tech, делал в продукте на внешний рынок аналитику по сотрудникам для руководителей и e-com, где из проектов можно выделелить NRT-интерактивную карту товарооборота.
В каждом из мест ставит своей задачей повысить культуру данных в компании.
Бегает марафоны и делает свои первые шаги в альпинизме.

Видео