Выполняется ли автоматический перенос данных на другие узлы при удалении роли datanode в кластере hadoop?

У нас есть 5 узлов на нашем кластере CDH, имеющих datanode и namenode на том же узле, и 4 других datanode. Проблема в том, что узел name переходит в безопасный режим, и это должно произойти из-за нехватки места на диске. Я удалил роль datanaode на машине datanode. Мне было интересно, если данные, хранящиеся на этом узле, сбалансированы через другую машину 4 автоматически?

1 ответ

  1. Нет общего ответа, но обычно, если узел данных удален (из-за сбоя, преднамеренно и т. д.), пропущенные блоки должны быть определены как недостаточно реплицированные, и узел имени должен начать посылать инструкции узлам данных, чтобы сделать копию из реплик, пока все блоки не будут иметь все необходимые реплики. Предполагая, что параметр реплики по умолчанию установлен как 3, и, по крайней мере, у вас есть блок из каждого недостающего блока, то кластер автоматически должен создать требуемые реплики, распределенные на доступных узлах данных.