Балансировка по нагрузке в динтаблицах YTsaurus
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Работа распределённой СУБД существенно зависит от шардирования данных. Когда данных много и они очень неоднородны — тысячи таблиц на сотнях машин — без фонового динамического перераспределения просто ничего не будет работать из-за постоянно возникающих неоднородностей, превышающих возможности отдельного шарда. Данную задачу можно разделить на две основные части: техническую реализацию перемещения шарда между нодами и алгоритмический процесс выбора шардов, которые нужно переместить. В докладе я сконцентрируюсь на второй части и расскажу, как мы решаем задачу планирования перераспределения шардов по нагрузке в динтаблицах YTsaurus — распределённом key-value сторадже, используемом для подготовки больших данных в Яндексе и выложенном в Open Source.
5 лет в IT. Разрабатывает динамические таблицы YTsaurus. Делала несколько небольших проектов в ClickHouse. Стажировалась в Google. Любит путешествовать и петь.
Видео
Другие доклады секции
Разработка СУБД и инструментов работы с данными