hdfs fsck отображает неправильный коэффициент репликации

Я только начал использовать Hadoop и экспериментировал с ним. Я немного погуглил и обнаружил, что мне нужно изменить свойства в hdfs-site.xml, чтобы изменить коэффициент репликации по умолчанию... вот что я сделал, и, честно говоря, это работает как шарм. Когда я добавляю новые файлы, они автоматически реплицируются с новым коэффициентом репликации. Но когда я делаю что-то вроде:

hdfs fsck /

Затем вывод говорит, что репликация по умолчанию равна 1. Я могу просто быть педантичным в этом отношении. Но я бы предпочел, чтобы это было исправлено... или я должен сказать. Я полагался на этот вывод, и поэтому прошло много времени, прежде чем я понял, что все в порядке... или, может быть, что-то не так? Может кто-нибудь помочь интерпретировать этот вывод fsck.

..Status: HEALTHY
 Total size:    1375000000 B
 Total dirs:    1
 Total files:   2
 Total symlinks:        0
 Total blocks (validated):  12 (avg. block size 114583333 B)
 Minimally replicated blocks:   12 (100.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:   0 (0.0 %)
 Mis-replicated blocks:     0 (0.0 %)
 Default replication factor:    1
 Average block replication: 2.0
 Corrupt blocks:        0
 Missing replicas:      0 (0.0 %)
 Number of data-nodes:      4
 Number of racks:       1

person Nima Mousavi    schedule 04.01.2015    source источник


Ответы (1)


Иногда Hadoop отвечает на запросы информацией, которая хранится в формате .xml на клиентском компьютере, а иногда и на различных серверах. Убедитесь, что файл hdfs-site.xml имеет одинаковое значение на узле данных, клиентском узле (откуда вы запускали hdfs) и узле имени. Я поддерживаю центральный репозиторий для файлов конфигурации (настроенный для особенностей каждого узла) и глобально отправляю их по мере их изменения.

person David Hazlett    schedule 07.01.2015