Вопросы по теме 'sqoop'

Как использовать Sqoop для импорта данных из реляционной БД в песочницу Hive?
Как использовать Sqoop для импорта данных из реляционной БД в Hive в песочнице. Я установил песочницу Horton Works на МОЙ ПК. Теперь я хочу узнать об этой миграции. Я ссылался на эту ссылку...
11165 просмотров
sql-server hadoop hive sandbox sqoop
schedule 28.11.2023
Поддерживает ли опция Sqoop --hbase-row-key комбинацию нескольких столбцов
Я импортирую таблицу mysql в HBase, используя sqoop. Обычно ключ строки HBase состоит не только из одного столбца, обычно это комбинация двух или трех столбцов + метка времени, например. row key = ${col1}${col2}${timestamp} . Я не могу заставить...
3159 просмотров
sqoop hbase
schedule 24.10.2022
Вы можете перейти из базы данных улья в другую базу данных улья?
у нас есть 2 разных кластера Hadoop, и мне было интересно, можете ли вы собирать данные между базами данных/таблицами куста. Я искал это некоторое время, но я не могу найти его. Cluster1: Cluster2 db: metrics...
160 просмотров
hadoop hive sqoop
schedule 26.10.2022
Выполнение Sqoops с помощью Oozie
У меня есть 2 Sqoops, которые загружают данные из HDFS в MySQL. Я хочу выполнить их с помощью Oozie. Я видел, что Oozie представляет собой файл XML. Как я могу настроить его, чтобы я мог выполнять эти Sqoop? Демонстрация с шагами будет оценена?...
11969 просмотров
hadoop sqoop oozie
schedule 25.01.2024
Установка узла данных Hortonworks: исключение в secureMain
Пытаюсь установить одноузловой кластер Hortonworks Hadoop. Я могу запустить namenode и вторичный namenode, но datanode не работает со следующей ошибкой. Как решить эту проблему? 2014-04-04 18:22:49,975 FATAL datanode.DataNode...
2723 просмотров
hadoop hive sqoop hortonworks-data-platform apache-pig
schedule 29.04.2024
Импорт Sqoop из JAVA API с использованием разделителей и escape-символов
Я пытаюсь импортировать данные из RDBMS (Mysql) в HDFS. Я прочитал несколько руководств по Sqoop и нашел несколько полезных ссылок. http://devslogics.blogspot.com/2013/09/sqoop-java-client.html?showComment=1399588094791#c7484088811270691337 Я могу...
631 просмотров
java sqoop sqoop2
schedule 24.11.2023
Импорт данных DB2 в Hadoop
Я хочу импортировать данные из базы данных DB2 в Hadoop (HDFS, Hive). Один из способов - сделать это с помощью sqoop, можем ли мы сделать то же самое другим способом? Пожалуйста, поделитесь другим подходом к этому.. спасибо
6667 просмотров
import hadoop hive db2 sqoop
schedule 14.01.2024
Экспорт и импорт установки Sqoop из postgresql
Я только что установил sqoop и тестировал его. Я попытался экспортировать некоторые данные из hdfs в postgresql, используя sqoop. Когда я запускаю его, он выдает следующее исключение: java.io.IOException: Can't export data, please check task...
3260 просмотров
postgresql hadoop sqoop
schedule 18.04.2024
оболочка выполнила ошибку команды sqoop
Я хочу использовать команду shell execute sqoop(1.4.5). shell: sqoop_cmd="sqoop import --connect jdbc:mysql://xx.x.xxx.xxx:3306/test --username test --password datagateway --query 'выбрать t.name из table_name t где date(hrc .gmt_modified) =...
740 просмотров
shell sqoop
schedule 25.06.2022
Получение обновлений РСУБД в HDFS с помощью Sqoop
Я пытаюсь написать задание sqoop, чтобы выполнить требования ниже. У меня есть таблица XYZ, в которой ежедневно может создаваться 1 миллион новых записей и 0,5 миллиона обновлений. У меня будет задание Sqoop на конец дня, которое должно...
521 просмотров
hadoop sqoop
schedule 30.11.2023
Сбой импорта Sqoop в безопасный hbase
Я использую Hadoop-2.6.0 с защитой Kerberos. Я установил hbase с защитой kerberos и смог создать таблицу и отсканировать ее. Я также мог запустить задание sqoop, чтобы импортировать данные из mysql в hdfs, но задание sqoop терпит неудачу при...
373 просмотров
mysql hadoop kerberos sqoop hbase
schedule 22.10.2023
Ошибка Sqoop при использовании Oozie
У меня проблема с рабочим процессом oozie Я импортирую файл с помощью Sqoop с помощью команды sqoop import --connect jdbc:oracle:thin@:ip:sid --username --password --target-dir Из командной строки это работает, но по расписанию в oozie...
115 просмотров
jdbc sqoop oozie
schedule 18.09.2022
Проблема с импортом даты из Oracle в Hive с использованием sqoop
Я пытаюсь импортировать данные из Oracle в куст. В Oracle есть столбец «LOAD_DATE», а его значения имеют формат «13.08.2015 2:55:17 AM». После импорта я получаю значение вроде «2015-08-13 02: 55: 17.0». «AM» отсутствует в импортированных данных....
2573 просмотров
oracle hadoop hive impala sqoop
schedule 27.11.2023
Фаза редуктора Apache Sqoop-1
Я просмотрел документацию sqoop и не нашел информации о том, почему у sqoop-1 нет фазы редуктора. Может кто-нибудь объяснить это.
1316 просмотров
hadoop mapreduce sqoop
schedule 28.01.2024
Ошибка импорта: невозможно преобразовать тип SQL 2005==› во время импорта данных CLOB из базы данных Oracle.
Я пытаюсь импортировать данные таблицы Oracle с типом данных CLOB, используя sqoop, и это не удается с ошибкой Imported Failed: Cannot convert SQL type 2005 . Я использую Running Sqoop version: 1.4.5-cdh5.4.7 . Пожалуйста, помогите мне, как...
1300 просмотров
oracle importerror sqoop clob oozie
schedule 18.02.2024
Не удалось импортировать таблицу из Mysql с помощью Sqoop
У меня есть 5 записей в таблице сотрудников в базе данных demo_poc в MySQL в 192.168.1.126 [Машина-1]. Я хочу импортировать данные в куст в 192.168.1.129 [Машина-2] с использованием Sqoop. Я установил sqoop 1.4.6 на Машину-2. Я пробовал...
493 просмотров
mysql java hive sqoop
schedule 22.10.2023
Проблема с char, varchar, decimal в команде Sqoop с тегом --map-column-hive
Я импортирую данные из teradata в улей, используя Sqoop. Я добавил --map-column-hive в команду импорта sqoop --map-column-hive col1=int,col2=float,col3=decimal,col4=timestamp,col5=varchar Я получил исключение: FAILED: строка...
2043 просмотров
hive sqoop
schedule 03.09.2022
как импортировать данные с помощью Sqoop java API?
Я хочу импортировать данные с помощью sqoop, но я не хочу использовать команду оболочки. Итак, как использовать Java API для этого. Версия Sqoop — 1.4.6, и для этого я использую Scala + SBT. кстати, какие зависимости мне нужны?
1805 просмотров
scala sqoop
schedule 10.06.2024
Sqoop create-hive-table SQL Server НЕСТАНДАРТНАЯ схема
HDP-2.4.2.0-258, установленный с помощью Ambari 2.2.2.0 В SQL-сервере: TABLE_CATALOG TABLE_SCHEMA TABLE_NAME Management Administration SettingAttribute Management Administration SettingAttributeGroup Management...
583 просмотров
hadoop hive sqoop hortonworks-data-platform
schedule 19.10.2022
SQOOP - как сделать многотабличный или выборочный импорт таблицы в sqoop из MYSQL
как сделать несколько таблиц или выборочную таблицу импортировать в sqoop из MYSQL Я вижу, что мы можем импортировать таблицу за таблицей или импортировать все таблицы. ищу способ импортировать только определенные таблицы из MYSQL. Любая...
525 просмотров
sqoop
schedule 18.11.2023