Python REST API в фабрике данных Azure

У меня есть дополнительный API, к которому мне нужно получить доступ с помощью моего клиента Python REST (OAuth и токены все отсортированы). Но я хотел бы вызвать этот клиент python в своей фабрике данных, так как я хочу сохранить результаты в хранилище SQL Azure.

Любая помощь в том, как это сделать?


person Gagan    schedule 18.04.2018    source источник


Ответы (1)


Вам нужно настраиваемое действие, таким образом вы можете запустить скрипт Python с фабрикой данных. Для этого вам необходимо создать дополнительный ресурс, Пакетную службу Azure.

Дополнительная информация здесь: https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity и здесь https://docs.microsoft.com/en-us/azure/batch/batch-python-tutorial#batch-python-tutorial-code-sample

Если вам не нравится этот вариант, вы можете использовать веб-действие, которое также вызывает настраиваемый REST api. Документация: https://docs.microsoft.com/en-us/azure/data-factory/control-flow-web-activity

Надеюсь, это помогло!

person Martin Esteban Zurita    schedule 19.04.2018
comment
Спасибо, Мартин. Это помогло. - person Gagan; 20.04.2018
comment
Привет, Мартин! Еще один вопрос. Я также установил набор данных как файл Http. Он также может достигать конечной точки и извлекать результаты. Я не понимаю, что мне выбрать? - person Gagan; 20.04.2018
comment
Вы имеете в виду, как это объясняется здесь? https://docs.microsoft.com/en-us/azure/data-factory/connector-http Я думаю, что это более простой способ, я бы использовал настраиваемое действие для более сложных вещей, чем получение данных из http, поэтому определенно для набора данных http и копирования активности - person Martin Esteban Zurita; 20.04.2018
comment
Верный. О каких сложных вещах, о которых вы говорите, можно сделать в пользовательском действии, а не в наборе данных http? На самом деле я сравнительно новичок в Factory. - person Gagan; 21.04.2018