Вопросы по теме 'azure-data-factory-2'
Сбой фабрики данных Azure при копировании файлов больших данных
Я использую фабрику данных Azure для копирования данных из REST API в Azure Data Lake Store . Ниже приведен JSON моей активности.
{
"name": "CopyDataFromGraphAPI",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",...
3173 просмотров
schedule
26.04.2024
Python REST API в фабрике данных Azure
У меня есть дополнительный API, к которому мне нужно получить доступ с помощью моего клиента Python REST (OAuth и токены все отсортированы). Но я хотел бы вызвать этот клиент python в своей фабрике данных, так как я хочу сохранить результаты в...
892 просмотров
schedule
22.04.2024
Ошибка при попытке чтения файла в хранилище Data Lake
В моем хранилище озера данных Azure я пытаюсь прочитать файл, импортированный с помощью конвейера в фабрике данных Azure 2.
Хотя я вошел в систему с теми же учетными данными, которые использовал для создания фабрики данных, регистрации приложения...
1360 просмотров
schedule
17.11.2022
Повторить действие в фабрике данных Azure V2
У меня есть проект в фабрике данных Azure v1, в этом проекте я могу повторно запустить одно действие в конвейере, используя функцию монитора, но теперь я хочу перенести этот проект на v2, но в этой версии я думаю, что не могу повторно запустить...
410 просмотров
schedule
10.09.2022
Фабрика данных Azure для вызова локального API Alteryx
Мне нужно запустить задание в Alteryx (локально) из конвейера ADFv2, и я не могу найти способ сделать это. Встроенная веб-активность, похоже, не поддерживает процесс подписи OAUTH 1.0, который требуется Alteryx. При попытке настроить всегда получаю...
518 просмотров
schedule
23.04.2024
Низкая производительность при копировании из источника HTTP в приемник больших двоичных объектов
Я использую действие копирования для вызова HTTP API и сохраняю ответ json в виде файла в хранилище BLOB-объектов Azure. Действие копирования выполняется в цикле ForEach, и каждый запуск действия занимает 16 секунд, но когда я смотрю на детали...
93 просмотров
schedule
07.10.2023
Динамически добавлять дату и время к имени файла во время копирования или при указании имени в наборе данных BLOB-объектов.
Я сохраняю файл в хранилище больших двоичных объектов на фабрике данных V2, когда я указываю место для сохранения, я вызываю файл (например) файл1, и он сохраняется в большом двоичном объекте как файл1, без проблем. Но могу ли я использовать функцию...
9897 просмотров
schedule
27.11.2023
Программный доступ к фабрике данных Azure V2: ресурс Microsoft.DataFactory / dataFactories / в группе ресурсов не найден
Я пытаюсь получить программный доступ к Azure Data Fabric V2.
Сначала я создал регистрацию приложения на портале Azure и секрет клиента. Затем я дал участнику разрешение на регистрацию этого приложения на всю подписку, а также на группу ресурсов,...
224 просмотров
schedule
05.12.2023
Подключение DataFactory к базе данных Lotus notes
У меня есть требование подключиться к базе данных Lotus Notes, которая находится в локальной среде. В Azure DataFactory версии 2 нет встроенного соединителя для подключения к нему.
Я прочитал статью о том, как получить данные из заметок лотоса:...
191 просмотров
schedule
28.02.2024
Фабрике данных Azure не удается подключиться к облачному серверу Azure
Я получаю сообщение об ошибке подключения (невозможно подключиться к SQL Server) при создании связанной службы в фабрике данных Azure.
SQL Server, который я создал, является лицензированным разработчиком SQL Server 2017, который я вручную установил...
99 просмотров
schedule
18.10.2023
Обновление данных cosmos db из sql azure
Я могу успешно копировать данные из sql Azure в Azure cosmos DB с помощью фабрики данных. После первой копии я хочу, чтобы он обновлялся из того же источника sql, но вот проблема:
Предположим, у меня есть такая таблица SQL:
Col1 Col2
val11...
660 просмотров
schedule
18.09.2022
можно ли скопировать только первые несколько байтов файла?
У меня есть действие копирования, где источником является sftp, а приемником — хранилище больших двоичных объектов.
Можно ли скопировать ТОЛЬКО первые несколько сотен байт файла?
47 просмотров
schedule
27.04.2024
Эта таблица является таблицей без первичного индекса (NOPI). "В таблицах Teradata с PI
В настоящее время я тестирую конвейер, в котором я использую параметр раздела «Хэш» для извлечения из локальной базы данных. Я настроил конвейер, который передает список таблиц в действие ForEach, а затем я запускаю извлечение параллельно:...
89 просмотров
schedule
24.10.2022
Использование действия проверки ADFv2 для проверки минимального размера виртуального каталога набора данных BLOB Azure
У действия по проверке ADFv2 с использованием набора данных BLOB Azure есть свойство Минимальный размер . Я хотел бы убедиться, что общий размер файла определенного виртуального каталога для данного хранилища BLOB-объектов Azure указан в поле...
266 просмотров
schedule
08.02.2024
Счетчик агрегатов фабрики данных Azure ()
У меня есть запрос с несколькими объединениями, и есть поле, которое создается из счетчика, например:
select
t1.clientID,
t1.clientName,
t2.invoiceNo
(select count (*) from invoices where clientID = t1.clientID) AS clientswithSale
from customers...
559 просмотров
schedule
28.09.2022
Отладка конвейера ничего не делает
У меня есть конвейер, который я мог отлаживать и проработал до сегодняшнего дня - последний раз, когда я отлаживал его и мог видеть результаты отладки, был на этой неделе. Когда я нажимаю кнопку «Отладка», она остается отключенной, как если бы она...
30 просмотров
schedule
27.08.2022
Как передать имя LinkedService в поток данных из конвейера ADF?
Я работаю над проектом миграции, в котором исходные данные находятся в 4 разных учетных записях ADLS Gen 2 и их необходимо перенести в какое-то другое озеро данных. Для этого я создал 4 LinkedService для подключения к этой исходной учетной записи Gen...
27 просмотров
schedule
18.02.2024
