В целом, я ищу отзывы о двух разных вариантах дизайна запуска основного пакета.
У меня есть один пакет, который вызывает агент, который запускает кучу пакетов, обрабатывающих данные (я думаю, сейчас их около 50).
Первоначальный дизайн заключался в том, чтобы сгруппировать пакеты в более мелкие фрагменты, называемые директориями, которые вызывают фактические пакеты. Образец ниже:
Несколько восприятий, которые я вижу (и испытываю) при таком подходе, заключаются в следующем: 1. Каждый пакет должен открываться (даже если в его запуске нет необходимости, т.е. файл отсутствует) 2. # 1 добавляет так много времени для завершения процесса 3. Работает параллельно точно
Поэтому я разработал новый подход, который будет запускать только те пакеты, в которых есть необходимые файлы, и регистрировать попытку, если нет. Это намного чище, и вам не нужны все подключения к файлам для каждого пакета, поскольку вы выполняете итерацию по ним.
Я не уверен, что он работает параллельно (на самом деле я в этом сомневаюсь).
Я добавляю поток данных, который заполняет объект ADO, который повторяется в foreach, чтобы продемонстрировать обрабатываемые файлы.
Примечание. Обычно в среде DEV не так много файлов для обработки, однако при развертывании в TEST и PROD будет обрабатываться большинство файлов.
Могу ли я получить отзывы об этих двух разных подходах?
Любой, кто предоставит продуктивную обратную связь, получит плюсы!!!
