Марина Суслова на Data Internals X 2025

Python вместо ручек. Как мы автоматизировали проставление атрибутов сущностей в дата каталоге.

Управление данными

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Каталог данных - о нём многие говорят и внедряют в своих компаниях, но после успешного этапа интеграции все неизбежно сталкиваются с тем, что ручной процесс заполнения каталога трудоёмкий и подвержен человеческим ошибкам. В докладе можно узнать как автоматизировать процесс заполнения и не страдать.

Целевая аудитория

Специалисты data governance, дата инженеры

Тезисы

Работа с дата каталогом – это всегда очень много ручного труда: описание, проставление владельцев и стюардов, тегирование и тд. Но мы заметили, что есть ситуации, когда мы проставляем некоторые атрибуты по понятным правилам. А если есть правила, значит можно автоматизировать. В докладе расскажу, что это за правила и как мы реализовали систему, в разы сократившую время на рутинную работу с каталогом.

Марина Суслова

HeadHunter

Руководитель команды data governance в HeadHunter. До этого 10 лет опыта в аналитике данных в Ozon, БКС и ВТБ.