Data Internals X

Вы можете сколько угодно обсуждать компьют и форматы хранения — но если вы строите Lakehouse, рано или поздно упрётесь в сторадж.
Мы прошли через это:
—спасали Lakehouse от тупика в трупуте,
—боролись с шумными соседями и деградацией IO,
—выжали 80 ГБ/с, обойдя ограничения одного кластера,
—и поняли, что архитектура Lakehouse начинается с правильного стораджа.
Этот доклад — честный отчёт о том, как выжить и масштабироваться, когда сторадж стал узким горлышком всей аналитической платформы.
Будет боль, будет правда, будут выводы.