Вопросы по теме 'hiveql'
Понимание Hive UDF
Я создал несколько пользовательских функций куста. Теперь мы думаем об использовании этих UDF внутри hiveql для создания таблицы.
Создать сказку xyz{ field1..
fieldn } as {выбрать udf1(), udf2(), ...
udfn() из abc,def)
Теперь мы не...
472 просмотров
schedule
23.03.2024
СВИНЬЯ: придайте значение твитам
Моя цель — оценивать твиты на Pig Latin. У меня есть 3 списка слов для использования в качестве словаря (положительные слова, отрицательные слова и нерелевантные слова). Я бы оценил список твитов с помощью этого словаря. Я должен анализировать...
370 просмотров
schedule
25.07.2022
запрос hive с использованием регулярного выражения
привет, я искал способ запросить таблицу кустов ( user_acc_detl ), где данные столбца (ACC_DETAILS) выглядят так, как показано ниже,
COUNTRY[0]_united staes~DATE[0]_6/10/2014~AMOUNT[0]_200~ID[0]_20140509065052159324~COUNTRY[1]_united...
531 просмотров
schedule
03.03.2024
Hive Passing Property/Text File для чтения значений нескольких переменных в -hiveconf
В настоящее время я могу использовать следующую команду:
hive -f hive-job.hql -hiveconf city='CA' -hiveconf country='US'
Здесь я передаю только 2 значения переменных. Но у меня есть от 15 до 20 значений переменных, которые мне нужно передать...
4387 просмотров
schedule
16.09.2022
Множественные соединения с одной и той же таблицей в HIVE
В приведенном ниже запросе я присоединяю таблицу T1 к нескольким таблицам на основе одного и того же ключа. Мне интересно, в этом случае мне нужно указать условия
AND a.ds = '2014-12-10'
AND a.org_id IS NULL
для каждого соединения? В чем...
3383 просмотров
schedule
03.11.2022
Влияет ли порядок условий в запросах куста на производительность запроса?
У меня проблема в том, что мои SQL-запросы куста иногда приводят к сканированию всей таблицы и длятся очень долго. Поэтому мне было интересно, действительно ли порядок операторов where влияет на производительность запросов.
Например. запрос имеет...
1499 просмотров
schedule
11.05.2024
Загрузка пар "ключ-значение" на карту в улье
У меня есть таблица Table1 с 5 столбцами и таблица 2 с 3 столбцами
DESCRIBE Table1;
col1 int
col2 int
col3 int
col4 int
col5 int
DESCRIBE Table2;
col1 int
col2 int
mapcol map<string, int>
Теперь я хотел бы скопировать данные из...
446 просмотров
schedule
03.11.2023
Асинхронное выполнение запроса куста: OperationHandle очищается на стороне сервера, как только клиент инициатора запроса отключается.
Можно ли асинхронно выполнить запрос на сервере улья?
Например, как я могу/можно ли сделать что-то подобное с клиента?
QueryHandle handle = executeAsyncQuery(hiveQuery);
Status status = handle.checkStatus();
if(status.isCompleted()) {...
1470 просмотров
schedule
16.10.2022
Сохранение запросов куста
Мне нужно знать, как мы можем сохранить запрос, который я написал в командной строке, точно так же, как мы это делаем в sql (мы используем ctrl + S на сервере sql).
Я слышал, что запросы hive QL используют расширение .q или .hql. Есть ли...
3002 просмотров
schedule
02.10.2023
Подключиться к hiveserver2 с помощью PHP
Мне нужно создать отчет в моем приложении PHP, используя данные в Hadoop. Я установил hiveserver2 на свой локальный компьютер. Я попытался найти способ подключения к hiveserver2 из моего PHP-кода, используя следующие примеры....
937 просмотров
schedule
13.11.2022
Улей к улью ETL
У меня есть две большие таблицы Hive, скажем, TableA и TableB (которые загружаются из разных источников).
Эти две таблицы имеют почти идентичную структуру таблицы/столбцы с одним и тем же столбцом раздела, дата хранится в виде строки.
Мне нужно...
670 просмотров
schedule
31.03.2024
можем ли мы указать путь к файлу x.csv при создании внешней таблицы куста?
Исходя из синтаксиса создания внешней таблицы:
CREATE EXTERNAL TABLE page_view(viewTime INT, userid BIGINT,
page_url STRING, referrer_url STRING,
ip STRING COMMENT 'IP Address of the User',
country STRING COMMENT 'country of...
143 просмотров
schedule
09.12.2023
куст - можно ли создать столбец из другого столбца
Мне было интересно, можно ли создать новый столбец из существующего столбца в улье.
Допустим, у меня есть таблица People (name string, age int) , и я хочу добавить столбец is_old string , который будет определен как if(age > 70, 'old',...
5996 просмотров
schedule
05.05.2024
Перегородки в улье
У меня есть набор данных в кластере CDH, и он разделен на ггггмм.
Когда я запускаю следующий запрос в улье:
select actvydt, cast((concat(trim(substr(ActvyDt, 1, 4)), trim(substr(ActvyDt, 6, 2)))) as int) from pos where yyyymm=201601 and...
441 просмотров
schedule
23.01.2024
Apache Hive: как преобразовать строку в метку времени?
Я пытаюсь преобразовать строку в столбце REC_TIME в формат метки времени в улье.
Пример: Вс, 31 июля, 09:28:20 UTC 2016 => 2016-07-31 09:28:20
SELECT xxx, UNIX_TIMESTAMP(REC_TIME, "E M dd HH:mm:ss z yyyy") FROM wlogs LIMIT 10;
Когда...
22853 просмотров
schedule
21.04.2024
получение максимального значения столбца отметки времени как подзапрос в улье
У меня есть столбцы временных меток с именами start_dt и end_dt в моем улье table1, и в таблице всегда будет только одна запись.
В таблице 2 у меня есть столбец даты под названием load_dt .
Я пытаюсь добиться чего-то вроде этого:
select...
867 просмотров
schedule
09.11.2023
Hive on Spark CTAS не работает с прямым SELECT, но успешно с SELECT GROUP BY
Я успешно использовал Hive on Spark в течение нескольких недель, выполняя операторы CTAS, которые включали агрегированные данные. Недавно мне потребовалось выполнить CTAS с прямым оператором выбора (без GROUP BY), и я был удивлен, что это не удалось....
680 просмотров
schedule
18.02.2024
Разбор URL-адреса улья
У меня есть вопрос о разборе URL-адресов с помощью куста. Например, у меня есть таблица URL-адресов,
http://xxxx.com&key1 = 1 & key2 = 2 & key4 = 4
http://xxxx.com&key1 = 1 & key2 = 2 & key3 = 3 & key 4 = 4
http://xxxx.com&key1 = 1...
1088 просмотров
schedule
02.01.2024
Hive — более быстрый способ проверки данных
У меня есть пакет scala/spark, который работает с базой данных Hive. Он запускает цикл, в котором выполняется запрос, чтобы проверить, существуют ли данные для некоторых конкретных значений.
SELECT * FROM myTable WHERE col1 = 7879 AND col2= 1071...
780 просмотров
schedule
09.08.2022
передача параметров в раздел не работает в улье
Я хочу передать значение раздела в качестве параметра.
SET runmdt = date_sub(current_date,5);
Приведенный ниже запрос работает нормально.
SELECT
cal_id,caller_name,location
from
amobe_tbl a
WHERE a.create_dt IN
(select DISTINCT create_dt...
1399 просмотров
schedule
05.03.2024
