Существует множество способов переноса данных из базы данных SQL в BigQuery, но я обнаружил, что самый простой способ — использовать «dlt», что означает инструмент загрузки данных.
Этот инструмент чрезвычайно упрощает процесс загрузки данных в BigQuery. Все, что вам нужно сделать, это ввести свои учетные данные, выбрать столы, и вы получите идеально приготовленное основное блюдо, которое можно подать на стол.
Ниже приведены некоторые основные шаги по загрузке данных из базы данных SQL в Bigquery.
- Первым шагом является установка dlt и инициализация конвейера.
> pip install dlt > dlt init sql_database bigquery
2. После этого в вашу корневую папку будет загружена аккуратная структура каталогов, позволяющая вам настроить dlt/secrets.toml (секретный файл для хранения учетных данных, тссс…) с использованием драйвера базы данных, имени пользователя, пароля, хоста, и порт. Для получения дополнительной информации, пожалуйста, обратитесь к документации.
3. Аналогичным образом вы можете настроить учетные данные BigQuery. Вот и все! Отличная работа! Ваш трубопровод готов.
4. У вас также есть волшебный образец сценария под названием «sql_database_pipeline.py» в корневом каталоге, демонстрирующий различные примеры сценариев загрузки данных для загрузки данных из SQL в BigQuery. Хотите верьте, хотите нет, но это так просто.
У вас есть возможность загрузить всю базу данных или выбрать определенные таблицы. Кроме того, вы можете загружать данные постепенно или за один раз. Полностью зависит от вас!
Если у вас есть еще вопросы, пожалуйста, присоединяйтесь к нашему каналу Slack.
Или вы можете прочитать полную документацию здесь.
