Вопросы по теме 'hbase'
В Hive локальный путь загрузки данных перезаписывает существующие данные или добавляется?
Я надеюсь запустить импорт в Hive на cron и надеялся просто использовать
"загрузить данные локально inpath '/ tmp / data / x' в таблицу X" в таблицу будет достаточно.
Будут ли последующие команды перезаписывать то, что уже находится в таблице?...
19299 просмотров
schedule
11.09.2022
Как я могу заставить HBase хорошо работать с управлением зависимостями sbt?
Я пытаюсь запустить проект sbt, который использует Hadoop CDH3 и HBase. Я пытаюсь использовать файл project/build/Project.scala для объявления зависимостей от HBase и Hadoop. (Я признаю, что мое понимание sbt, maven и ivy немного слабое. Пожалуйста,...
2607 просмотров
schedule
04.10.2023
База данных для обработки огромного количества данных
Я оцениваю базу данных для моего следующего проекта. Я хочу хранить все города мира (2,5 миллиона) и каждый день сохранять прогноз погоды для каждого города. Таким образом, вы можете себе представить, что набор данных будет довольно быстро...
2124 просмотров
schedule
21.12.2023
Клиент Hbase не может подключиться к удаленному серверу Hbase
Я написал следующий клиентский класс hbase для удаленного сервера:
System.out.println("Hbase Demo Application ");
// CONFIGURATION
// ENSURE RUNNING
try {
HBaseConfiguration config = new...
40840 просмотров
schedule
12.03.2024
Как сканировать определенное значение столбца в hbase?
Я новичок в использовании hbase. У меня есть несколько столбцов с атрибутами
Как искать определенный атрибут.
как мне использовать команду сканирования в этом случае?
scan 'table_name' дает все записи.
24026 просмотров
schedule
08.12.2023
Команда конфигурации Flume остается в состоянии EXECING при использовании приемника hbase (Cloudera)
Я пытаюсь использовать Flume для потоковой передачи журналов в hbase. У меня запущена распределенная установка Flume и кластер hbase; оба используют один и тот же Zookeeper. Flume работает с различными командами (текст, хвост, настраиваемый фильтр...
319 просмотров
schedule
18.10.2022
Ошибка при массовой загрузке в hbase
Я пытаюсь Hbase - bulkLoad через программу Java MapReduce. Я запускаю свою программу в Eclipse.
Но я получаю следующую ошибку:
12/06/14 20:04:28 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
12/06/14...
2386 просмотров
schedule
15.10.2023
Hbase быстро подсчитывает количество строк
Прямо сейчас я реализую подсчет строк по ResultScanner вот так
for (Result rs = scanner.next(); rs != null; rs = scanner.next()) {
number++;
}
Если данные достигают миллионов вычислений, время вычислений велико. Я хочу вычислять в...
116862 просмотров
schedule
18.02.2024
HBase в качестве входных данных -› невозможно сбалансировать нагрузку по доступным задачам карты
Я хочу, чтобы каждый преобразователь Hadoop обрабатывал отдельную порцию данных в задании M/R, и я хотел бы протестировать на псевдораспределенной (с одним узлом) установке случай, когда в результате больший размер входных данных. Учитывая размер...
571 просмотров
schedule
27.10.2022
HBase как серверная часть веб-приложения
Может ли кто-нибудь посоветовать, стоит ли использовать HBase в качестве основного источника данных для веб-приложения? Меня больше всего беспокоит время отклика HBase на запросы. Возможен ли ответ менее чем за секунду?
edit: более подробная...
3719 просмотров
schedule
14.03.2024
Apache Gora — java.net.MalformedURLException при создании хранилища данных hbase
Я создаю проект, который использует Gora-hbase в качестве бэкэнда. Hbase запущен и работает. Я не использую maven или ivy.
Также я указал следующее в /conf/gora.properties:
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore...
658 просмотров
schedule
13.09.2022
HBase: что касается дизайна схемы
Я читал/изучал HBase и пытался создать схему. Я работаю с RDBMS, и это первый раз, когда я пытаюсь использовать nosql db. У меня простой вопрос о дизайне схемы:
Предположим, что есть три таблицы => альбом, фото, комментарий
альбом ‹= Создано...
276 просмотров
schedule
15.03.2024
Настройка Hadoop и Hbase в Eclipse
Я использую окна 7 и cygwin. Я успешно настроил Hadoop 1.0.3 и Hbase 0.94.16, а также создал таблицу и вставил данные в таблицу. Теперь я хочу настроить Hadoop и Hbase в eclipse (Windows 7), поэтому, пожалуйста, предложите, если у вас есть...
2715 просмотров
schedule
27.10.2022
Чтение записей Avro из HBase в Java
У меня есть сложная запись Avro (вложенные записи, объединенные типы), которую я храню как значение в HBase. Я читаю файл данных Avro, используя схему, которая в настоящее время соответствует схеме записи файла и записям, которые находятся в HBase:...
2795 просмотров
schedule
14.01.2024
Поддерживает ли опция Sqoop --hbase-row-key комбинацию нескольких столбцов
Я импортирую таблицу mysql в HBase, используя sqoop. Обычно ключ строки HBase состоит не только из одного столбца, обычно это комбинация двух или трех столбцов + метка времени, например. row key = ${col1}${col2}${timestamp} .
Я не могу заставить...
3159 просмотров
schedule
24.10.2022
Можно ли выполнить OLAP CUBE в HBase?
Есть ли способ создать КУБИЧЕСКИЕ ИЗМЕРЕНИЯ в HBase или OLAP? Я хочу создать приложение типа CUBE DIMENSIONS с моим HBASE или HIVE и подключить его к SSAS для целей отчетности, возможно ли это? Если так, пожалуйста, направьте меня с некоторыми...
7683 просмотров
schedule
06.11.2023
Я хочу загрузить json/csv в hbase
Я хочу загрузить JSON ИЛИ CSV в HBASE без использования каких-либо программ mapreduce, а также поддержки HIVEQL/pig, возможно ли это и какой из них более эффективен hive-hbase или mapreduce-hbase.
2570 просмотров
schedule
18.11.2023
HBase MapReduce
Если я хочу записать вывод Reducer в HBase, мне просто нужно использовать:
context.write(key,put);
Мой вопрос о первом параметре «ключ»; какое бы значение я не установил для «ключа», оно не будет отображаться в HBase, когда я использую HBase...
333 просмотров
schedule
22.09.2022
Hadoop установлен - проблема с рутом
Я установил Hadoop 1.2.1 из Apache для учетной записи пользователя в Ubuntu, но не для root . Когда я отдаю команды, я добавляю sudo . Проблема в том, что когда я запускаю Hadoop с помощью « sudo bin/start-all.sh » из домашнего каталога Hadoop,...
164 просмотров
schedule
20.12.2023
Почему мое задание Hadoop получает Map task num = 1 и генерирует более 300 файлов результатов?
У меня была такая работа Hadoop. В MR есть только карта, а не уменьшение. Так что установите job.setNumReduces(0). Входных файлов около 300+
Затем я запускаю задание, я вижу только 1 задание карты. На его выполнение уходит около 1 часа. Затем...
82 просмотров
schedule
04.09.2022
