Data Internals X

В современных Big Data-экосистемах управление доступом к данным становится критически важным по мере роста кластеров и усложнения инфраструктуры. В докладе мы расскажем об особенностях организации доступа к большим данным, поделимся опытом Сбера в части эволюции системы авторизации больших данных: от изолированного Standalone-решения к облачной CloudNative-архитектуре, способной масштабироваться вместе с бизнес-потребностями.

На примере реального кейса рассматривается путь модернизации механизмов, начиная с выбора подходящего решения, такого как Apache Ranger и его применения к BigData-экосистеме, и заканчивая сложностями масштабирования и переносом сервиса в контейнерное окружение Kubernetes. Особое внимание уделяется проблемам сайзинга, возникающим при росте числа клиентов, и способам их решения с использованием технологий Service Mesh. В заключении обсуждаются ключевые аспекты, на которые стоит обратить внимание при миграции в облако и управлении высоконагруженными системами.

Ключевые показатели решения:
* снизили потребление компьютерных ресурсов в 2 раза, не снижая при этом уровень доступности сервиса;
* снизили T2M на 200+% (с 1,5 часа до 8 сек.).