Запуск нескольких конвейеров и / или заданий в одном кластере HDinsight в фабрике данных Azure

Если вы имеете в виду выполнение настраиваемого действия .NET с помощью фабрики данных Azure, вы должны запустить его так же, как действие HDInsight, просто пометив его как настраиваемое действие и связав его с zip-файлом .NET dll в хранилище BLOB-объектов. Также можно использовать пакетную службу Azure, поскольку .NET будет работать хорошо, а пакетная служба Azure дешевле (если настраиваемое действие является единственной причиной наличия кластера HDInsight).

Вы можете использовать один кластер HDInsight для выполнения нескольких заданий фабрики данных, включая несколько параллельных конвейеров. Однако имейте в виду, что в зависимости от ваших параллельных заданий (количество, размер и т. Д.) И конфигурации вашего кластера вы можете перегрузить ресурсы кластера.