Как мы пришли к централизованной авторизации BigData. Путь от Standalone до CloudNative
Доклад принят в программу конференции
Целевая аудитория
Тезисы
В современных Big Data экосистемах управление доступом к данным становится критически важным по мере роста кластеров и усложнения инфраструктуры. В докладе мы расскажем об особенностях организации доступа к большим данным, поделимся опытом Сбера в части эволюции системы авторизации больших данных: от изолированного Standalone-решения к облачной CloudNative архитектуре, способной масштабироваться вместе с бизнес-потребностями.
На примере реального кейса рассматривается путь модернизации механизмов, начиная с выбора подходящего решения, такого как Apache Ranger и его применения к BigData экосистеме, и заканчивая сложностями масштабирования и переносом сервиса в контейнерное окружение Kubernetes. Особое внимание уделяется проблемам сайзинга, возникающим при росте числа клиентов, и способам их решения с использованием технологий Service Mesh. В заключении обсуждаются ключевые аспекты, на которые стоит обратить внимание при миграции в облако и управлении высоконагруженными системами.
Ключевые показатели решения:
· снизили потребление компьютерных ресурсов в 2 раза, не снижая при этом уровень доступности сервиса;
· снизили T2M на 200%+ (с 1,5 часов до 8 сек.).
Более 10 лет опыта в IT в различных ролях: network engineer, security officer, DevOps engineer, product owner.
Ключевые области проектов:
* высоконагруженные интеграционные решения;
* распределенные платформенные решения на базе облачных технологий;
* CI/CD-решения для BigData и облачных сред;
* Обеспечение безопасности BigData-сред;
* AI&ML-решения.
