Возможный дубликат: Повторное использование экземпляра Amazon Elastic MapReduce Могу ли я оставить запущенный кластер EMR работающим и продолжать отправлять ему новые задания, пока я не закончу (скажем, через пару дней), а затем закрыть...

У меня есть много таблиц с информацией в одной учетной записи DynamoDB, которую я хотел бы перенести в другую учетную запись. Я вижу, что вы можете копировать таблицы в одной учетной записи с помощью EMR следующим образом:...

Я разбил большой двоичный файл на куски (2 Гб) и загрузил их на Amazon S3. Теперь я хочу объединить его обратно в один файл и обработать с помощью своего пользовательского я пытался бежать elastic-mapreduce -j $JOBID -ssh \ "hadoop dfs -cat...

Я работаю с некоторыми данными в Pig, которые включают интересующие строки, необязательно разделенные точкой с запятой и в случайном порядке, например. test=12345;foo=bar test=12345 foo=bar;test=12345 Следующий код должен извлечь значение...

Привет, я пытаюсь выполнить настроенную банку WordCount в AWs EMR. Моя банка для подсчета слов работает правильно, потому что я попытался добавить ее как шаг без аргументов задания, и она успешно работает. Моя проблема в том, что я запускаю ее с...

У меня есть следующий код для запуска задания EMR, и он работает успешно. И я также хочу следить за состоянием работы. Я использую DescribeJobFlows API, но он говорит, что этот API устарел в соответствии с...

Мне нравится подключать кластер EMR к нашей MongoDB через соединение MongoDB (а не через дампы BSON). Для этого я создал кластер через Консоль управления AWS. В конфигурации Bootstrap я указал на этот файл, который находится на S3: #!/bin/sh...

Я хочу реализовать следующий поток из кода Java: Создайте новый экземпляр AWS EMR (с помощью AWS SDK) Подключитесь к AWS EMR с помощью Hive JDBC (требуется IP-адрес). Запустите мои запросы «SQL» в EMR Уничтожить AWS EMR (с помощью AWS SDK)...

Я настроил базовый кластер EMR из 3 узлов и запустил spark-submit с настройкой --executor-memory 1G и без других конфигураций. Сам сценарий представляет собой базовую задачу бенчмаркинга: from pyspark import SparkConf, SparkContext from...

Я пытаюсь преобразовать строку в столбце REC_TIME в формат метки времени в улье. Пример: Вс, 31 июля, 09:28:20 UTC 2016 => 2016-07-31 09:28:20 SELECT xxx, UNIX_TIMESTAMP(REC_TIME, "E M dd HH:mm:ss z yyyy") FROM wlogs LIMIT 10; Когда...

Чтобы инструменты BI, такие как Microstrategy, могли получать доступ к данным в кластере AWS EMR с помощью Spark SQL, необходимо добавить свойство в файл hive-site.xml. Мы автоматически поднимаем кластеры EMR с помощью шаблонов CloudFormation, но не...

Мне нужно запустить приложение, для запуска и настройки которого требуется графический интерфейс. Мне также нужно иметь возможность запускать это приложение в сервисе Amazon EC2 и сервисе EMR. Требование EMR означает, что он должен работать на Linux...

Я создаю прототип использования AWS EMR для системы на основе Flink, которую мы планируем развернуть. У моего кластера есть следующие версии: Release label: emr-5.10.0 Hadoop distribution: Amazon 2.7.3 Applications: Flink 1.3.2 В...

Моя установка: небольшой проект Spark, созданный с SBT (+ sbt-assembly для создания «толстых» банок), который должен взаимодействовать с несколькими бэкэндами БД с использованием JDBC (в данном случае PostgreSQL + SQL Server, но я думаю, что моя...