Data Internals X

Ревью без боли: DataOps-подход к управлению изменениями в DWH

Практические примеры внедрений

Управление изменениями
Совместное планирование и разработка
Хранилища

Доклад принят в программу конференции

Целевая аудитория

Архитекторы и разработчики Data Platform DE и Analytics engineers DevOps, специализирующиеся на Data Platform

Тезисы

В условиях Data Mesh, где нет централизованной команды инженеров данных и аналитиков, поддержание качества кода в распределённой среде стало ключевым вызовом. За последние годы наша платформа данных прошла путь от ручного ревью изменений и частых хотфиксов до полностью автоматизированного CI/CD-пайплайна. Мы расскажем, как внедрили статические и интеграционные тесты для SQL-кода и автоматизировали контроль за выполнением пользователями стандартов разработки. Вы узнаете, какие инструменты и подходы помогли нам выявлять неоптимальный код, контролировать права доступа и поддерживать актуальность репозитория.

Мы поделимся инсайтами: как команда адаптировалась к новым процессам, какие ошибки удалось предотвратить и как автоматизация повлияла на скорость и качество разработки. Этот опыт будет полезен инженерам данных, которые хотят минимизировать рутину и сделать свои хранилища надежнее.

Data Engineer в Лемана Тех.
6 лет в IT и инжиниринге данных. Работаю с высоконагруженными распределенными системами, создаю эффективные пайплайны, постоянно учусь новому и делюсь экспертизой с окружающими

Видео