Я использую фабрику данных Azure для копирования данных из REST API в Azure Data Lake Store. Ниже приведен JSON моей активности.
{
"name": "CopyDataFromGraphAPI",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false
},
"typeProperties": {
"source": {
"type": "HttpSource",
"httpRequestTimeout": "00:30:40"
},
"sink": {
"type": "AzureDataLakeStoreSink"
},
"enableStaging": false,
"cloudDataMovementUnits": 0,
"translator": {
"type": "TabularTranslator",
"columnMappings": "id: id, name: name, email: email, administrator: administrator"
}
},
"inputs": [
{
"referenceName": "MembersHttpFile",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "MembersDataLakeSink",
"type": "DatasetReference"
}
]
}
REST API создан мной. Сначала для целей тестирования я возвращаю всего 2500 строк, и мой конвейер работал нормально. Он скопировал данные из вызова REST API в Azure Data Lake Store.
После тестирования я обновляю REST API, и теперь он возвращает 125000 строк. Я протестировал этот API в клиенте REST, и он работает нормально. Но в действии копирования фабрики данных Azure при копировании данных в Azure Data Lake Store возникает следующая ошибка.
{
"errorCode": "2200",
"message": "Failure happened on 'Sink' side. ErrorCode=UserErrorFailedToReadHttpFile,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Failed to read data from http source file.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (500) Internal Server Error.,Source=System,'",
"failureType": "UserError",
"target": "CopyDataFromGraphAPI"
}
Сторона приемника - это хранилище озера данных Azure. Есть ли ограничение на размер содержимого, которое я копирую из вызова REST в Azure Data Lake Store.
Я также повторно протестировал конвейер, обновив вызов REST API (2500 строк), и он работал нормально, и когда я обновил API-вызов, он вернул 125000 строк. Мой конвейер начинает выдавать ту же вышеупомянутую ошибку.
Мой исходный набор данных в операции копирования
{
"name": "MembersHttpFile",
"properties": {
"linkedServiceName": {
"referenceName": "WM_GBS_LinikedService",
"type": "LinkedServiceReference"
},
"type": "HttpFile",
"structure": [
{
"name": "id",
"type": "String"
},
{
"name": "name",
"type": "String"
},
{
"name": "email",
"type": "String"
},
{
"name": "administrator",
"type": "Boolean"
}
],
"typeProperties": {
"format": {
"type": "JsonFormat",
"filePattern": "arrayOfObjects",
"jsonPathDefinition": {
"id": "$.['id']",
"name": "$.['name']",
"email": "$.['email']",
"administrator": "$.['administrator']"
}
},
"relativeUrl": "api/workplace/members",
"requestMethod": "Get"
}
}
}
Набор данных приемника
{
"name": "MembersDataLakeSink",
"properties": {
"linkedServiceName": {
"referenceName": "DataLakeLinkService",
"type": "LinkedServiceReference"
},
"type": "AzureDataLakeStoreFile",
"structure": [
{
"name": "id",
"type": "String"
},
{
"name": "name",
"type": "String"
},
{
"name": "email",
"type": "String"
},
{
"name": "administrator",
"type": "Boolean"
}
],
"typeProperties": {
"format": {
"type": "JsonFormat",
"filePattern": "arrayOfObjects",
"jsonPathDefinition": {
"id": "$.['id']",
"name": "$.['name']",
"email": "$.['email']",
"administrator": "$.['administrator']"
}
},
"fileName": "WorkplaceMembers.json",
"folderPath": "rawSources"
}
}
}