Марина Суслова на Data Internals X 2025

Python вместо ручек. Как мы автоматизировали проставление атрибутов сущностей в дата-каталоге

Управление данными

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Каталог данных — о нем многие говорят и внедряют в своих компаниях, но после успешного этапа интеграции все неизбежно сталкиваются с тем, что ручной процесс заполнения каталога трудоемкий и подвержен человеческим ошибкам. В докладе можно узнать, как автоматизировать процесс заполнения и не страдать.

Целевая аудитория

Специалисты data governance, дата-инженеры.

Тезисы

Работа с дата-каталогом – это всегда очень много ручного труда: описание, проставление владельцев и стюардов, тегирование и т.д. Но мы заметили, что есть ситуации, когда мы проставляем некоторые атрибуты по понятным правилам. А если есть правила, значит можно автоматизировать.

В докладе расскажу, что это за правила и как мы реализовали систему, в разы сократившую время на рутинную работу с каталогом.

Марина Суслова

hh.ru

Руководитель команды data governance в HeadHunter. До этого 10 лет опыта в аналитике данных в Ozon, БКС и ВТБ.