Выжимаем максимум из Clickhouse для BI-отчетности с ограниченным бюджетом

Расскажу, как переводили тяжелую отчетность с модели импорта Power BI на прямые запросы DataLens + ClickHouse; рассмотрим, какие проблемы пришлось решить.

После ухода Power BI столкнулись с тем, что пока нет хороших решений, где можно просто загрузить данные в систему отчетности и отчет будет работать на мощном облачном сервере более-менее терпимо даже при объеме данных в миллиарды строк.

Доступные отечественные и свободные решения в основном строятся на прямых запросах, а это значит, что нужно самостоятельно заниматься задачами по оптимизации структуры данных, настройки кластеров и оптимизации запросов.

Сложности добавляло то, что наша команда занимается проектами монетизации данных — отчетность предоставляется поставщикам, и бюджеты на отчеты весьма ограничены, нет возможности использовать сверхмощные кластеры. Требуется реализовывать отчетность в десятки миллиарды строк на скромных мощностях, и чтобы данные обрабатывались за десятки секунд.

Мы начинали с Greenplum, но не устроила производительность, остановились на ClickHouse и выжимали оптимизацию из всего что можно, разбирались с движками, типами данных, кодеками, проекциями, индексами, стратегиями объединения данных, параллелизацией, схемами запросов, метриками производительности и прочим.

В итоге разобрались, как настраивать ClickHouse для высокопроизводительной BI-отчетности, и готовы поделиться опытом.