Я разработал приложение MapReduce, которое использует ToolRunner . На основе аргументов и свойств конфигурации, переданных пользователем, приложение определенным образом настраивает задание: выбирает конкретный формат ввода/вывода, выбирает классы...

У меня есть 2 Sqoops, которые загружают данные из HDFS в MySQL. Я хочу выполнить их с помощью Oozie. Я видел, что Oozie представляет собой файл XML. Как я могу настроить его, чтобы я мог выполнять эти Sqoop? Демонстрация с шагами будет оценена?...

Мне нужно обработать много файлов с определенной датой. Я нахожу только одно решение: запускать задание N раз, каждый раз с другим набором данных. Используемые разделы основаны на гггг, мм, дд. У меня есть действие java, которое создает хороший...

Нужна работа, которая выполняется в зависимости от наличия наборов данных, созданных в разделах Hive. Я заставил это работать, но теперь я хочу, чтобы все мои каналы запускались в номинальное время, но один всегда запускался с задержкой на день....

У меня проблема с рабочим процессом oozie Я импортирую файл с помощью Sqoop с помощью команды sqoop import --connect jdbc:oracle:thin@:ip:sid --username --password --target-dir Из командной строки это работает, но по расписанию в oozie...

Я пытаюсь импортировать данные таблицы Oracle с типом данных CLOB, используя sqoop, и это не удается с ошибкой Imported Failed: Cannot convert SQL type 2005 . Я использую Running Sqoop version: 1.4.5-cdh5.4.7 . Пожалуйста, помогите мне, как...

У нас есть кластер с поддержкой Kerberos, и я пытаюсь запустить действие Java в Oozie, где я создаю соединение JDBC с Hive. Это соединение JDBC отлично работает в песочнице без Kerberos. Строка подключения проста, как показано ниже, где я указываю...

У меня есть координатор-A, у которого есть рабочий процесс, который генерирует вывод в каталог /var/test/output/20161213-randomnumber/ теперь мне нужно передать имя каталога «20161213-randomnumber» другому координатору-B, который должен...

Можно ли использовать тег <param> в oozie перед тегом <script> . Как показано ниже: <param>script_name=${wf:actionData('GetJobParameters')['SCRIPT_NAME']}</param>...

Я пытаюсь понять, почему задание координатора на основе oozie 4.2, которое должно ждать набора данных, срабатывает несколько раз. Моя работа координатора выглядит так <coordinator-app name="ConfirmDataMasterTrigger"...

Я хочу знать, как и где Spark выбирает нужные банки. файл: /mnt/md0/yarn/nm/usercache/kylin/appcache/application_1468506830246_161908/container_1468506830246_161908_01_000001/datanucleus-api-jdo-3.2.1.jar не существует. <spark-opts>...

У меня есть один координатор oozie и задания рабочего процесса, когда мое одно из действий рабочего процесса завершено, мне нужно начать следующее действие через некоторое время, скажем, через 50 минут. Могу ли я настроить это из рабочего процесса...

Домашнюю работу искал везде, но не нашел решений java.lang.NoSuchFieldError: IS_SECURITY_ENABLED Посылка CDH содержит конфликтующие файлы jar (jsp-api-2.1-6.1.14.jar, jasper-runtime-5.5.23.jar). jsp-api-2.1-6.1.14.jar и...

Я хочу запустить программу, которая преобразует данный входной файл в другой формат. Когда файл загружен во входную таблицу, планировщик oozie должен запустить задание. Для одного файла работает нормально; Если входная таблица имеет несколько...