Вопросы по теме 'hadoop2'
Не удается подключиться к http://localhost:50030/ — Hadoop 2.6.0 Ubuntu 14.04 LTS
У меня установлен Hadoop 2.6.0 на моем компьютере с Ubuntu 14.04 LTS. Я могу успешно подключиться к http://localhost:50070/ .
Я пытаюсь подключиться к http://locahost:50030/ У меня есть следующее в моем mapred-site.xml...
4688 просмотров
schedule
16.08.2022
ClassNotFoundException без имени класса
Я попытался добавить UDF в банку и попробовал LOAD. Ниже приведен мой фрагмент
register 'target/warcbase-0.1.0-SNAPSHOT-fatjar.jar';
DEFINE WarcLoader org.warcbase.pig.WarcLoader();
warc = LOAD '/raw/' USING WarcLoader AS (url: chararray, date:...
1268 просмотров
schedule
04.08.2022
Что означает распределение контейнеров/ресурсов в Hadoop и Spark при работе на Yarn?
Поскольку искра работает в памяти, что означает выделение ресурсов в Spark при работе на пряже и как это отличается от распределения контейнеров в Hadoop? Просто любопытно узнать, как данные и вычисления Hadoop находятся на диске, а Spark находится в...
3045 просмотров
schedule
23.12.2023
Улей к улью ETL
У меня есть две большие таблицы Hive, скажем, TableA и TableB (которые загружаются из разных источников).
Эти две таблицы имеют почти идентичную структуру таблицы/столбцы с одним и тем же столбцом раздела, дата хранится в виде строки.
Мне нужно...
670 просмотров
schedule
31.03.2024
передать имя каталога от одного координатора другому в oozie
У меня есть координатор-A, у которого есть рабочий процесс, который генерирует вывод в каталог
/var/test/output/20161213-randomnumber/
теперь мне нужно передать имя каталога «20161213-randomnumber» другому координатору-B, который должен...
76 просмотров
schedule
04.04.2024
Spark - Spark RDD - это логический набор инструкций?
Быстрый просмотр довольно интересного руководства по архитектуре Apache Spark для начинающих, как показано в этом руководстве , я наткнулся на пара запросов относительно обработки RDD в искре, как показано ниже,
В моем понимании RDD - это...
317 просмотров
schedule
17.08.2022
Как получить имя файла в hadoop из пути к входному файлу из бокового картографа и редуктора, т.е. класса драйвера
Чтобы получить путь к файлу в картографе или редюсере, мы используем
FileSplit fileSplit = (FileSplit)reporter.getInputSplit();
String filename = fileSplit.getPath().getName();
System.out.println("File name "+filename);...
498 просмотров
schedule
17.07.2022
проблемы с кучей в кластере hadoop при запуске программы уменьшения карты из командной строки
Я запускаю задание по уменьшению образца карты, которое принимает файл .csv в качестве входных данных из hdfs и вставляет его в hbase через программу карты Java. Я попытался с параметрами ниже, чтобы избежать ошибки кучи java....
93 просмотров
schedule
25.01.2024
Проблема с установкой Hadoop
После установки Hadoop на виртуальный ящик Oracle с помощью Ubuntu все работает нормально. Но когда я запускаю localhost: 50070 в браузере, я получаю работоспособность namenode, но не параметр Legacy UI в правом нижнем углу, с помощью которого я могу...
42 просмотров
schedule
23.10.2022
Impala GROUP BY секционированный столбец
Теоретический вопрос,
Допустим, у меня есть таблица с четырьмя столбцами: A, B, C, D. Значения A и D равны, таблица разбита по столбцу A.
С точки зрения производительности, будет ли разница, если я выполню этот запрос SELECT SUM (B) GROUP BY A;...
103 просмотров
schedule
18.05.2024
Зависит ли делегирование Hadoop для REST API WebHDFS от Kerberos SPNEGO?
Согласно документации для WebHDFS REST API .
https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Delegation_Token_Operations
Упоминается, что при включенной безопасности есть 2 механизма
Аутентификация с...
649 просмотров
schedule
20.08.2022
Как реализовать суммы префиксов в Hadoop?
Я застрял, пытаясь реализовать суммы префиксов в Hadoop. Я понимаю алгоритм:
каждый узел имеет свое «ведро» данных
каждый узел суммирует ведро
каждый узел передает свою сумму «следующим» узлам
каждый узел теперь может суммировать...
187 просмотров
schedule
30.01.2024
Добавить переменное количество столбцов для семейства столбцов в HBase с помощью Pig
Мне нужно загрузить из Pig в HBase с помощью HBaseStorage, и я не могу понять, как загрузить с переменным количеством столбцов для определенного семейства столбцов (с известным количеством столбцов это просто)
Данные, которые выглядят следующим...
769 просмотров
schedule
08.03.2024
Ошибка Cloudera -java.lang.NoSuchFieldError: IS_SECURITY_ENABLED при попытке доступа к этому полю
Домашнюю работу искал везде, но не нашел решений java.lang.NoSuchFieldError: IS_SECURITY_ENABLED
Посылка CDH содержит конфликтующие файлы jar (jsp-api-2.1-6.1.14.jar, jasper-runtime-5.5.23.jar). jsp-api-2.1-6.1.14.jar и...
903 просмотров
schedule
07.09.2022
Операции обновления HBase на hdfs
Поскольку HBase основан на HDFS, и эта HDFS не имеет функций обновления, мне было интересно, перезаписывают ли операции обновления на нем все файлы HFILE в Hadoop?
Благодарность
400 просмотров
schedule
17.01.2024
Ошибка выполнения, код возврата 2 из org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Количество задач уменьшения установлено на 0, поскольку нет оператора уменьшения
Работа выполняется в процессе (локальный Hadoop)
2017-03-23 12:19: 17,371 Карта этапа 1 = 0%, уменьшение = 0%
Завершенное задание = job_local1571094051_0001 с...
9016 просмотров
schedule
28.03.2024
Федерация узлов имен Hadoop
Я уже некоторое время пытаюсь понять федерацию в Hadoop. Мой вопрос: скажем, у меня есть два NameNodes NN1 и NN2, NN1 управляет пространством имен финансов, а NN2 управляет пространством имен ИТ. Если NN1 выйдет из строя, у меня все еще будет доступ...
271 просмотров
schedule
09.03.2024
Решение без HBase для хранения огромных данных и обновления в реальном времени
Привет, я разработал приложение, в котором мне нужно в первый раз хранить ТБ данных, а затем ежемесячно добавлять 20 ГБ, например, вставить / обновить / удалить в виде xml, который будет применяться поверх этих 5 ТБ данных. И, наконец, по запросу я...
684 просмотров
schedule
15.10.2022
Импортируйте таблицу mysql (sqoop) непосредственно в куст, используя --create-hive-table
Я готовлюсь к экзамену HDPCD, поэтому тестирую все возможные операции импорта и экспорта с использованием MySQL в Hive. В этом примере я хотел бы импортировать таблицу из MySQL и создать с нуля такую же таблицу в улье, используя параметр...
161 просмотров
schedule
15.05.2024
Hadoop fs -ls выводит файлы текущего рабочего каталога, а не файлы тома hdfs
Настроил один псевдораспределенный узел (localhost) с Hadoop 2.8.2 на OpenSuse Tumbleweed 20170703. Версия Java — 1.8.0_151. В целом, вроде правильно настроен. Я могу отформатировать namenode без ошибок и т. д.
Однако, когда я пытаюсь выполнить...
305 просмотров
schedule
09.10.2022
