Публикации по теме 'azure-data-factory'
Запуск Azure Pipeline (ADF) с любым языком программирования через конечную точку
Привет, команда! Вот простой способ запуска конвейера Azure из конечной точки Azure. Давайте начнем
В основном он состоит из двух шагов:
Шаг 1: получите токен доступа, предоставив учетные данные
Шаг 2. Теперь используйте этот токен доступа для подключения/запуска с фабрикой данных Azure.
Итак, начнем с шага 1 .
вы должны потребовать эти параметры для входа в систему:
Строка AzureClientId = «XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX»;
Строка AzureClientSecret =..
Вопросы по теме 'azure-data-factory'
Запуск нескольких конвейеров и / или заданий в одном кластере HDinsight в фабрике данных Azure
Каков рекомендуемый способ использования кластера HDInsight для запуска конвейера для настраиваемых действий в фабрике данных Azure. Можно ли использовать один кластер HDInsght для нескольких заданий фабрики данных Azure и для нескольких конвейеров,...
302 просмотров
schedule
12.12.2023
Настройка производительности копирования фабрики данных Azure
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-load-sql-data-warehouse . По этой ссылке с 1000 DWU и polybase я должен получить пропускную способность 200 Мбит / с. Но я получаю 4,66 Мбит / с. Я добавил пользователя в класс...
1975 просмотров
schedule
05.07.2022
Разобрать файл json в U-SQL
Я пытаюсь разобрать ниже файл Json с помощью USQL, но продолжаю получать ошибку.
Json file@
{"dimBetType_SKey":1,"BetType_BKey":1,"BetTypeName":"Test1"}
{"dimBetType_SKey":2,"BetType_BKey":2,"BetTypeName":"Test2"}...
2576 просмотров
schedule
24.04.2024
ADF Copy 1 to 1 из хранилища таблиц Azure в Azure SQL
Я пытаюсь сделать точную копию таблицы из хранилища таблиц в Azure SQL .
У меня проблема со столбцом из исходной таблицы (хранилище таблиц), потому что он может иметь несколько типов данных, в моем случае String или DateTime . Проблема...
663 просмотров
schedule
07.10.2023
Сбой фабрики данных Azure при копировании файлов больших данных
Я использую фабрику данных Azure для копирования данных из REST API в Azure Data Lake Store . Ниже приведен JSON моей активности.
{
"name": "CopyDataFromGraphAPI",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",...
3173 просмотров
schedule
26.04.2024
Python REST API в фабрике данных Azure
У меня есть дополнительный API, к которому мне нужно получить доступ с помощью моего клиента Python REST (OAuth и токены все отсортированы). Но я хотел бы вызвать этот клиент python в своей фабрике данных, так как я хочу сохранить результаты в...
892 просмотров
schedule
22.04.2024
Не удалось выполнить операцию копирования фабрики данных Azure, сопоставив строки (из csv) с полем uniqueidentifier приемника таблицы SQL Azure
У меня есть конвейер фабрики данных Azure (DF), который состоит из операции копирования. Действие копирования использует HTTP-коннектор в качестве источника для вызова конечной точки REST и возвращает поток CSV, который попадает в таблицу базы данных...
4227 просмотров
schedule
07.01.2024
Множественный источник для действия копирования в фабрике данных Azure
Локальная хранимая процедура принимает два параметра и возвращает несколько записей, которые необходимо записать в хранилище озера данных Azure (ADLS). Эти 2 параметра существуют в двух разных файлах, которые я пытаюсь прочитать из двух отдельных...
1346 просмотров
schedule
16.11.2022
Низкая производительность при копировании из источника HTTP в приемник больших двоичных объектов
Я использую действие копирования для вызова HTTP API и сохраняю ответ json в виде файла в хранилище BLOB-объектов Azure. Действие копирования выполняется в цикле ForEach, и каждый запуск действия занимает 16 секунд, но когда я смотрю на детали...
93 просмотров
schedule
07.10.2023
Чтение JSON из остального API как есть с фабрикой данных Azure
Я пытаюсь заставить фабрику данных Azure прочитать мой REST API и поместить его в SQL Server. Источником является REST API, а приемником - таблица SQL Server.
Я пробовал сделать что-то вроде:
"translator": {
"type": "TabularTranslator",...
1214 просмотров
schedule
02.04.2024
Конструктор фабрики данных Azure в проекте Visual Studio 2019
Я столкнулся с проблемой конвейера выпуска с фабрикой данных Azure. В большинстве типов сущностей Azure (таких как веб-приложение или проект sql) я могу разработать проект в Visual Studio и использовать ADO для создания сборки и выпусков для...
5085 просмотров
schedule
08.07.2022
отправить электронное письмо с вложением в фабрике данных Azure
Мне нужно отправить электронное письмо с вложением в соответствии с условием из таблицы. Например, у меня есть таблица XYZ, в которой есть столбец «Флаг», и если значение флага столбца равно «N», то он должен выбрать значения со значением «N» из...
2854 просмотров
schedule
20.12.2023
Скопируйте данные с помощью фабрики данных Azure из Excel или CSV-файла и выполните преобразование входного файла.
Мне нужно скопировать данные из файла Excel с помощью фабрики данных Azure (v2) и выполнить преобразования (например, разделение или добавление столбцов) во входном файле Excel перед импортом в мою базу данных. Это возможно?
Если нет, можно ли...
1121 просмотров
schedule
26.03.2024
Чтение метаданных CSV из базы данных, слишком большой для поиска
Мне нужно создать конвейер для чтения CSV из папки, загрузки из строки 8 в таблицу Azure SQL, первые 5 строк перейдут в другую таблицу ([tblMetadata]).
До сих пор я делал это с помощью Lookup Activity, работает нормально, но один из файлов больше 6...
65 просмотров
schedule
04.01.2024
Скопируйте данные из хранилища BLOB-объектов в sqlDatabase (в несколько таблиц)
Я относительно новичок в лазурном, и я застрял! Я пытаюсь прочитать данные из своего хранилища BLOB-объектов в базу данных SQL с помощью Azure DataFactory. Я получил этот процесс, чтобы он работал нормально, используя активность копирования, теперь...
231 просмотров
schedule
10.12.2023
Что такое язык выражений потока данных ADF Mapping?
Я использую поток данных сопоставления фабрики данных Azure, и я только что заметил, что в построителе выражений потока данных сопоставления построение Expression i фактически выполняется на языке выражений.
Мой клиент спрашивает об этом языке...
494 просмотров
schedule
11.04.2024
можно ли скопировать только первые несколько байтов файла?
У меня есть действие копирования, где источником является sftp, а приемником — хранилище больших двоичных объектов.
Можно ли скопировать ТОЛЬКО первые несколько сотен байт файла?
47 просмотров
schedule
27.04.2024
Эта таблица является таблицей без первичного индекса (NOPI). "В таблицах Teradata с PI
В настоящее время я тестирую конвейер, в котором я использую параметр раздела «Хэш» для извлечения из локальной базы данных. Я настроил конвейер, который передает список таблиц в действие ForEach, а затем я запускаю извлечение параллельно:...
89 просмотров
schedule
24.10.2022
Использование действия проверки ADFv2 для проверки минимального размера виртуального каталога набора данных BLOB Azure
У действия по проверке ADFv2 с использованием набора данных BLOB Azure есть свойство Минимальный размер . Я хотел бы убедиться, что общий размер файла определенного виртуального каталога для данного хранилища BLOB-объектов Azure указан в поле...
266 просмотров
schedule
08.02.2024
Как загрузить данные в sql-приемник с помощью лазурного?
Я пытаюсь загрузить данные в базу данных Azure SQL, используя поток данных Azure. Но по какой-то причине я не могу подключиться к своей базе данных приемников. Я все перепробовал, но безуспешно. Я могу подключиться к базе данных SQL при создании...
67 просмотров
schedule
08.10.2023
