Публикации по теме 'hive'


Откройте для себя социальные сети будущего с грядущим выпуском Hives
Hive Social — это мобильное приложение, похожее на Twitter, Instagram, Tumblr и Myspace. Он позволяет пользователям публиковать текст, изображения и видео, а также подписываться, лайкать и публиковать контент других пользователей. Тем не менее, Hive Social также утверждает, что имеет несколько функций, которые отличают его от других платформ социальных сетей, например: Хронологический канал, который не использует алгоритмы или рекламу, чтобы влиять на то, что видят пользователи. Простой..

Столбец раздела таблицы Hive и его тип данных
Я помню один из недавних инцидентов, связанный с оценкой, которую мы проводили для партиций таблицы улья и производительности потребления данных из нее. Основные дебаты касались типа данных столбца, по которому будет разбита таблица. Мы сделали небольшое доказательство концепции на двух разных типах данных Date и number. Значения типа данных даты для секционированных папок будут иметь формат гггг-мм-дд. Где числовые значения будут иметь формат ггггммдд в виде числовых значений. Было..

Вопросы по теме 'hive'

Как сделать асинхронный вызов Hive в Java?
Я хотел бы выполнить запрос Hive на сервере асинхронно. Запрос Hive, вероятно, займет много времени, поэтому я бы предпочел не блокировать вызов. В настоящее время я использую Thirft для выполнения блокирующего вызова (блокирует client.execute()),...
4621 просмотров
schedule 19.05.2024

В Hive локальный путь загрузки данных перезаписывает существующие данные или добавляется?
Я надеюсь запустить импорт в Hive на cron и надеялся просто использовать "загрузить данные локально inpath '/ tmp / data / x' в таблицу X" в таблицу будет достаточно. Будут ли последующие команды перезаписывать то, что уже находится в таблице?...
19299 просмотров
schedule 11.09.2022

Индексация в Hive
У меня есть довольно большая таблица Hive (~ 20 миллиардов записей) в кластере хаупов, и мне нужно сделать для нее несколько объединений. Можно ли индексировать эту таблицу по ключу? Например, если имя таблицы table1 , и я хочу выполнить...
2001 просмотров
schedule 19.09.2022

Ошибка в группе при использовании улья
Я использую следующий код и получаю ошибку ниже select d.searchpack,d.context, d.day,d,txnid,d.config, c.sgtype from ds3resultstats d join context_header c on (d.context=c.contextid) where (d.day>='2012-11-15' and...
5097 просмотров
schedule 05.11.2022

Работа Hive над DynamoDB не выполняется
У меня есть около 35 ГБ (22 миллиона строк) данных о веб-кликах в базе данных DynamoDB. Я могу вытащить данные по ключам просто отлично. Сейчас я пытаюсь использовать Hive для вычисления агрегации этих данных, и у меня возникают проблемы с тем,...
654 просмотров
schedule 02.10.2022

Разбор строки пути для поиска всех предков с использованием Hive
Учитывая входной файл, содержащий пути и некоторые другие столбцы: \aa\bb\cc ... \aa\bb\cc\dd\ee ... \xx\yy\zz ... Я ищу способ в HiveQL взорвать пути в отдельный список, включая все пути предков. Для примера выше...
141 просмотров
schedule 28.10.2022

НЕ В Hive QL
Я конвертирую хранимую процедуру SQL Server в HiveQL. Как я могу преобразовать что-то вроде: SELECT * FROM table1 WHERE id NOT IN (7,6,5,4,2,12)
20371 просмотров
schedule 27.08.2022

Hadoop в базе данных cassandra
Я использую Cassandra для хранения своих данных и куст для обработки моих данных. У меня есть 5 машин, на которых я настроил cassandra, и 2 машины, которые я использую в качестве узла аналитики (где работает улей). Поэтому я хочу спросить, делает ли...
10744 просмотров
schedule 13.04.2024

Получение ошибки подключения к сокету при попытке подключения к улью из файла eclipse spring xml
org.springframework.beans.factory.BeanCreationException: ошибка при создании bean-компонента с именем «hiveServer»: не удалось вызвать метод инициализации; вложенным исключением является org.apache.thrift.transport.TTransportException: не удалось...
621 просмотров
schedule 16.09.2022

Как написать скрипт улья для ожидаемого результата
event1 id1 foo_id1 event1 id1 foo_id2 event1 id1 foo_id3 event1 id1 foo_id4 event1 id1 foo_id1 event1 id2 foo_id1 event1 id2 foo_id2 event1 id3 foo_id1 event1 id1 foo_id1 event1 id3 foo_id3 event1 id4 foo_id1 event1 id4 foo_id2 event1...
223 просмотров
schedule 24.10.2022

Как преобразовать дату ISO в дату UTC в Hive
У меня есть данные JSON, как показано ниже: мне нужно преобразовать эту дату или mongo_date в метку времени utc, чтобы анализировать данные в улье в соответствии с примером временной шкалы в год, в месяц, в неделю, используя уменьшение карты {...
4999 просмотров

заполнение таблицы Hive из файла дает слишком много строк
Я создаю таблицу Hive из файла с 8 тыс. строк, но созданная таблица имеет 78 тыс. строк. Командная строка следующая: bin/hive_executable < my_script.hql мой_скрипт.hql: create table my_table(k1 t1, k2 t2....); load data local inpath...
292 просмотров
schedule 26.08.2022

Как использовать Sqoop для импорта данных из реляционной БД в песочницу Hive?
Как использовать Sqoop для импорта данных из реляционной БД в Hive в песочнице. Я установил песочницу Horton Works на МОЙ ПК. Теперь я хочу узнать об этой миграции. Я ссылался на эту ссылку...
11165 просмотров
schedule 28.11.2023

как преобразовать запрос улья в абстрактное синтаксическое дерево?
Может ли кто-нибудь сказать мне, как преобразовать запрос куста в абстрактное синтаксическое дерево? Например: выберите * из заказов, где cust_num = 100; Как я могу преобразовать это в AST? и как я могу преобразовать этот AST в дерево QB?...
4332 просмотров
schedule 13.04.2024

Текстовый файл против файла последовательности
В hadoop я просто играл с этими двумя форматами, чтобы оценить производительность запросов улья. Я закончил, когда я выполняю запросы к таблице, которые хранятся в виде файла TEXT, дают мне результат раньше, чем тот, который хранится как файл...
5402 просмотров
schedule 24.03.2024

создание уникальных идентификаторов в улье
Я пытался создать уникальные идентификаторы для каждой строки таблицы (более 30 миллионов строк). использование последовательных номеров явно не работает из-за параллельной природы Hadoop. встроенные UDFs rand() и hash(rand(),unixtime()),...
26869 просмотров
schedule 17.08.2022

Можно ли выполнить OLAP CUBE в HBase?
Есть ли способ создать КУБИЧЕСКИЕ ИЗМЕРЕНИЯ в HBase или OLAP? Я хочу создать приложение типа CUBE DIMENSIONS с моим HBASE или HIVE и подключить его к SSAS для целей отчетности, возможно ли это? Если так, пожалуйста, направьте меня с некоторыми...
7683 просмотров
schedule 06.11.2023

Я хочу загрузить json/csv в hbase
Я хочу загрузить JSON ИЛИ CSV в HBASE без использования каких-либо программ mapreduce, а также поддержки HIVEQL/pig, возможно ли это и какой из них более эффективен hive-hbase или mapreduce-hbase.
2570 просмотров
schedule 18.11.2023

Hive ParseException - не может распознать ввод рядом с «концом» «строки»
Я получаю следующую ошибку при попытке создать таблицу Hive из существующей таблицы DynamoDB: NoViableAltException(88@[]) at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.identifier(HiveParser_IdentifiersParser.java:9123) at...
111515 просмотров

Вложенный массив HIVE в типе данных MAP
У меня есть таблица HIVE, структурированная следующим образом: - Create table test_stg(employee_id INT, name STRING, abu ARRAY <String>, sabu MAP <String, ARRAY<INT>) row format delimited fields terminated by '|'...
19749 просмотров
schedule 19.10.2023