Чтение метаданных CSV из базы данных, слишком большой для поиска

Мне нужно создать конвейер для чтения CSV из папки, загрузки из строки 8 в таблицу Azure SQL, первые 5 строк перейдут в другую таблицу ([tblMetadata]).

До сих пор я делал это с помощью Lookup Activity, работает нормально, но один из файлов больше 6 МБ, и он не работает.

Я проверил все параметры в Lookup, прочитал все о Copy Activity (который я использую для загрузки основных данных - пропустите 7 строк). Конвейер создается с использованием графического интерфейса.

Результат поиска используется в качестве параметров для хранимой процедуры для вставки в tblMetadata.

Может кто-нибудь посоветует, как с этим бороться? В данный момент я прохожу обучение, никто не может мне помочь на месте.


azure-sql-database azure-data-factory
person Baczek    schedule 21.10.2019    source источник
comment
Активный поиск имеет ограничения: максимальное количество строк, которое может быть возвращено действием поиска, составляет 5000, размером до 2 МБ. Сколько у вас CSV-файлов и каков их размер?   -  person Leon Yue    schedule 22.10.2019
comment
Номер CSV будет динамическим, ожидается, что он уже будет больше 5 МБ.   -  person Baczek    schedule 22.10.2019

Ответы (2)


arrow_upward
0
arrow_downward

Вероятно, вы могли бы сделать это с помощью одного действия потока данных, которое имеет несколько преобразований.

Вы могли бы использовать преобразование «Источник», которое считывает данные из папки с использованием путей к папкам и подстановочных знаков, а затем добавить преобразование условного разделения для отправки разных строк в разные приемники.

person Mark Kromer MSFT    schedule 22.10.2019

arrow_upward
0
arrow_downward

Я сделал обходной путь по-другому, изменил CSV, которые импортируются с помощью bing, чтобы в первой строке были целые метаданные (поскольку это было частью моего другого проекта). Затем использовал FirstRow только в Lookup.

person Baczek    schedule 22.10.2019
comment
Привет, @Baczek, вы можете принять (отметить) его как ответ (нажмите на галочку рядом с ответом, чтобы переключить его с серого на заполненный). Это может быть полезно для других членов сообщества. Спасибо. - person Leon Yue; 24.10.2019