Евгений Милин на Data Internals X 2025

Гибкая настройка параметров запуска Spark-приложений

Практические примеры внедрений

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В докладе обсудим методы настройки Spark-приложений для оптимизации ресурсов и повышения производительности на PROD. Рассмотрим ключевые параметры конфигурации, на которые стоит обращать внимание, и на примерах из практики увидим реальные результаты.

Целевая аудитория

Разработчики, сопровождение.

Тезисы

Сегодня актуальной проблемой является неправильная настройка параметров запуска Spark-приложений, которые зачастую настраиваются неверно или просто копируются из других app, что приводит к замедлению расчета, падениям при запуске и в процессе работы.

В своем докладе расскажу, на что стоит обращать внимание и как оптимально настроить потоки, чтобы оптимизировать расчет и избежать вышеописанных проблем.

Евгений Милин

Сбер

Старший инженер сопровождения нескольких промышленных кластеров, обрабатывающих Big Data.