загрузить несколько CSV из облака Google в bigquery

Мне нужно загрузить несколько файлов CSV из моей корзины Google. Пытался указать на корзину при создании набора данных, но получил ошибку. также пытался

gsutil load <projectID:dataset.table> gs://mybucket

это не сработало.

Мне нужно загружать несколько файлов одновременно, так как у меня общий объем данных составляет 2-3 ТБ, а файлов большое количество.


google-cloud-storage google-bigquery
person Jeugasce    schedule 19.12.2013    source источник
comment
bq load --autodetect --noreplace --source_format=CSV --skip_leading_rows=1 [мой набор данных].[моя таблица] gs://[моя корзина]/[моя папка]/*   -  person Denis    schedule 15.02.2021

Ответы (1)


arrow_upward
4
arrow_downward

Вы близко. Google Cloud Storage использует gsutil, но утилита командной строки BigQuery — «bq». Команда, которую вы ищете, это bq load <table> gs://mybucket/file.csv.

документация bq находится здесь: https://developers.google.com/bigquery/bq-command-line-tool

person Brandon Yarbrough    schedule 19.12.2013