Dacă am un cluster cu 4 noduri, unde 1 mașină este namenode și restul de 3 mașini sunt datanodes, iar dacă am setat numărul de reductoare la 1, care dintre nodurile de date va rula reductorul?
Pe ce mașină rulează Reducetorul Hadoop-ului
Răspunsuri (1)
Namenode și datanode sunt procese HDFS, nu MapReduce. Presupun că aveți 3 noduri de urmărire a sarcinilor. Unul dintre ei o va rula. Nu există nicio garanție care dintre ele. Hadoop mută, în general, calculul pentru a fi aproape de datele de care are nevoie, dar pentru reduceri, ei extrag date din mapper, nu HDFS. Puteți spune că Hadoop va prefera un nod mai puțin încărcat cu cel puțin un slot redus.
person
Sean Owen
schedule
30.06.2012
