Несколько вопросов относительно подхода к заданиям HDInsight. 1) Как запланировать задание HDInsight? Есть ли готовое решение для него? Например, если моя система будет постоянно получать большое количество новых входных файлов, для которых нам...

Я использую службу Azure HDInsight и создал в ней несколько таблиц. Каждый раз, когда я использую команду Invoke-Hive «Query» в Windows Azure PowerShell, она открывает задание, и для его завершения требуется около 30–50 секунд. У меня есть те же...

У меня есть задание по уменьшению карты, и редуктор получает абсолютный адрес файла, находящегося в хранилище BLOB-объектов Azure, и редуктор должен открыть его и прочитать его содержимое. Я добавляю учетную запись хранения, содержащую файлы, при...

Поскольку обновленная версия Azure PowerShell (0.9.7) была выпущена 14 августа 2015 г., я получаю следующую ошибку всякий раз, когда запускаю New-AzureHDInsightCluster или Get-AzureHDInsightJobStatus . . Оба работали без проблем до установки...

Я пытаюсь ввести в эксплуатацию кластер HDI с помощью .Net SDK. tutorial говорит сам за себя, но, когда я следую ему, кажется, что мне не хватает ссылки. using System; using System.Collections.Generic; using System.Diagnostics; using...

Каков рекомендуемый способ использования кластера HDInsight для запуска конвейера для настраиваемых действий в фабрике данных Azure. Можно ли использовать один кластер HDInsght для нескольких заданий фабрики данных Azure и для нескольких конвейеров,...

Я использую Azure с подпиской с оплатой по мере использования. У меня был опыт создания кластера Spark с помощью HDInsight для себя, и мне заплатили больше, чем я ожидал. После этого я искал, как использовать его экономичным образом, и обнаружил,...

Как подключить хранилище озера данных в службах анализа Azure Можем ли мы использовать HIVE ODBC или какие-либо другие варианты?

Когда удаляется внешняя таблица или раздел куста, из хранилища метаданных куста удаляются только метаданные. Базовые данные в учетной записи хранения HDFS / Azure не удаляются. Какие есть варианты удаления данных при удалении таблицы / раздела?

В настоящее время мы переводим нашу платформу IoT в качестве службы PAAS. Мы используем HDInsight Hbase для вставки всех данных IoT. Теперь я могу создавать и удалять таблицы в HBase из java-приложения. Но я не могу вставить или выбрать какие-либо...

Получение указанной ниже ошибки при создании Azure HDinsight с ADL через Rest API. Ниже приведена конфигурация, которую мы предоставили как часть json. Чего не хватает? "core-site": { "fs.defaultFS": "adl://<Home>",...

Описание проблемы У меня есть экземпляр кластера HDInsight , к которому я подключаюсь с помощью Putty и сертификата CAPI . Когда я пытаюсь подключиться, он запрашивает специальный PIN-код (назначенный карте, которую необходимо подключить во...

Я новичок в программировании - я знаю основы, поэтому в этом проекте я рожу за волосы. В конце концов, я пытаюсь связать свой кластер Hadoop с Tableau, где будет сосредоточена основная часть моего проекта. Я подписываюсь на этот парень ....

У нас есть Spark SQL, работающий с очень большим набором данных (50 ГБ), этот SQL выполняет множество агрегатов. он терпит неудачу через 30 минут с сообщением «файл не найден». Можно ли каким-либо образом оптимизировать код, чтобы снизить нагрузку...

Поддерживается ли указанный ниже вариант. Создайте кластер Azure HDI (без ESP, поскольку ADDS не настроен), а затем, когда ADDS будет доступен, удалите и воссоздайте кластер включения ESP. Возникнут ли проблемы с доступом к существующим данным?...