Если у меня есть кластер из 4 узлов, где 1 машина является именным узлом, а остальные 3 машины — узлами данных, и если я установлю количество редукторов равным 1, какой из узлов данных будет запускать редюсер?
На какой машине работает Редуктор Hadoop?
Ответы (1)
Namenode и datanode являются процессами HDFS, а не MapReduce. Я предполагаю, что у вас есть 3 узла отслеживания задач. Один из них будет управлять им. Нет гарантии какой именно. Hadoop обычно перемещает вычисления так, чтобы они были рядом с данными, которые ему нужны, но для редукторов они извлекают данные из картографов, а не из HDFS. Можно сказать, что Hadoop предпочтет менее загруженный узел хотя бы с одним слотом сокращения.
person
Sean Owen
schedule
30.06.2012
