Data Internals X

Гибкая настройка параметров запуска spark приложений

Управление данными

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В докладе обсудим методы настройки Spark-приложений для оптимизации ресурсов и повышения производительности на PROD. Рассмотрим ключевые параметры конфигурации на которые стоит обращать внимание и на примерах из практики увидим реальные резульаты.

Целевая аудитория

Разработчики, сопровождение

Тезисы

Сегодня актуальной проблемой является неправильная настройка параметров запуска spark приложений, которые зачастую настраиваются неверно или просто копируются из других app, что приводит к замедлению расчета, падениям при запуске и в процессе работы. В своем докладе расскажу, на что стоит обращать внимание и как оптимально настроить потоки, чтобы оптимизировать расчет и избежать вышеописанных проблем

Евгений Милин

ПАО Сбербанк

Старший инженер сопровождения нескольких промышленных кластеров обрабатывающих Big Data

Видео