Загрузка журналов из корзины Google Cloud Storage в BigQuery

Моя цель - перенести все мои (созданные в GCS) журналы из Google Cloud Storage в BigQuery с помощью веб-интерфейса BigQuery. Поскольку журналы создаются ежечасно, я люблю импортировать их все сразу для анализа.

Так, например, gs: //logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0, gs: //logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0002a_v0 и так далее.

Я получаю эту ошибку при получении только одного файла:

Ошибки:

 Line:1 / Column:1, Expected '{' found '"'
 Line:2 / Column:1, Expected '{' found '"' 
 Line:3 / Column:1, Expected '{' found '"'
 Line:4 / Column:1, Expected '{' found '"'
 Line:5 / Column:1, Expected '{' found '"'
 Line:6 / Column:1, Expected '{' found '"'
 Line:7 / Column:1, Expected '{' found '"'

Я создал новый набор данных, выбранные данные из gs: //logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0, а затем добавил эту схему http://storage.googleapis.com/pub/cloud_storage_usage0.json_schema_rel= и отправил это.

Подобные вопросы здесь и в Google мне не очень помогли.

Пожалуйста, спасибо.


logging google-cloud-storage google-bigquery
person Jamie    schedule 31.03.2013    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Можете привести пример ряда? Данные в формате json или csv? Из-за ошибки похоже, что он пытается импортировать данные JSON, но строка json не должна начинаться с '"' - она ​​должна начинаться с '{'. Это данные CSV? Если да, вы должны установить sourceFormat в CSV (или оставьте пустым) вместо NEWLINE_DELIMITED_JSON.

person Jordan Tigani    schedule 08.04.2013