spark.dynamicAllocation + настройка параметров искры в соответствии с кластером ambari

339
enodmilvado

мы хотим найти значения для следующих параметров искры в соответствии с входными данными, такими как память на машине с датоде, CPU CORE на машине с узлом данных, номера машины с датодой и т. д.,

spark.dynamicAllocation.initialExecutors = ? spark.dynamicAllocation.minExecutors = ? spark.dynamicAllocation.maxExecutors = ?

Я думаю, что мы не можем дать точно значения, так что это поможет найти диапазон для этих параметров

например

у нас есть Ambari кластер с

3 мастер машины

21 рабочий компьютер (каждый рабочий компьютер имеет 32 ГБ памяти и 16 ЦП)

3 кафки машины

Пожалуйста, помогите мне рассчитать значения для параметров (я буду рад получить диапазон значений для каждого параметра, так как я знаю, что мы никогда не закрываем значение точно)

Я просто высказываю здесь свое мнение (на основе сайта - https://community.microstrategy.com/s/article/Best-Practices-for-Spark-Thrift-Server-on-YARN

мы можем установить оба параметра на 21 (как количество рабочих машин) ??, Это нормально?

spark.dynamicAllocation.initialExecutors = 21 spark.dynamicAllocation.minExecutors = 21 spark.dynamicAllocation.maxExecutors = 21
0

0 ответов на вопрос

Похожие вопросы