oozie не поддерживает операции перемещения файлов unix внутри него

У меня есть планировщик OOZIE, и я написал в нем некоторую команду UNIX, которая будет перемещать файлы из одной папки в другую в Unix box.

Но он не работает в OOZIE и каждый раз бросает ошибку «путь не найден».

Обратите внимание: я использую кластер hadoop muti-node

1 ответ

  1. При выполнении задания Oozie внутренне оно будет уменьшать размер карты, и задание будет выполняться в любом из индексов данных, в котором оно будет выглядеть в этом конкретном индексе данных для перемещения файла. Если у этого datanode нет файла, он выдает путь не найден.

    Один и тот же код работает на одном кластере, а не на многоузловом кластере.

    Для загрузки данных можно использовать команды Hadoop (copyFromLocal или put) или Flume.