Публикации по теме 'google-bigquery'


Быстрое и простое построение модели Google BigQuery ML
SQL + ML = магия Что такое BQML? Одной из менее интуитивно понятных частей построения моделей машинного обучения является сортировка и выборка данных (например, с использованием Pandas). Было бы неплохо, если бы вы могли просто использовать SQL? Да, хорошо , что с Google Cloud Platform (GCP) BigQuery ML (BQML) вы можете сочетать лучшее от ML и лучшее от SQL. Должен признаться, когда я впервые увидел SQL, создающий регрессионную модель, я был поражен. Как насчет примера?..

Вопросы по теме 'google-bigquery'

BigQuery: 403 превышен предел скорости пользователя, но ошибка не отображается в списке заданий
Я получаю 403 User Rate Limit Exceeded, ошибка при выполнении запросов, но я уверен, что не превышаю. В прошлом я достиг предела скорости выполнения вставок, и это было отражено в списке заданий как [errorResult] => Массив ([причина] =>...
2470 просмотров
schedule 18.10.2023

Загрузка журналов из корзины Google Cloud Storage в BigQuery
Моя цель - перенести все мои (созданные в GCS) журналы из Google Cloud Storage в BigQuery с помощью веб-интерфейса BigQuery. Поскольку журналы создаются ежечасно, я люблю импортировать их все сразу для анализа. Так, например, gs:...
444 просмотров

Получить выполненный запрос из jobId BigQuery
С помощью API списка заданий BigQuery я получаю список выполненных заданий. и их статус. Есть ли быстрый способ получить выполненный запрос по ссылке на задание?
645 просмотров
schedule 28.07.2022

Как автоматизировать получение платежных данных BigQuery?
Сейчас мы довольно интенсивно используем BigQuery, и мне поручили отслеживать, сколько мы тратим на запросы каждый день. Кажется, нет простого способа сделать это в BigQuery? Кто-нибудь еще сделал это уже? Я начал пытаться очистить его...
180 просмотров
schedule 16.03.2024

BigQuery COUNT (DISTINCT значение) vs COUNT (значение)
Я обнаружил глюк / ошибку в bigquery. У нас есть таблица, основанная на данных банковской статистики в разделе starschema.net:clouddb:bank.Banks_token Если я выполню следующий запрос: SELECT count(*) as totalrow, count(DISTINCT BankId ) as...
64501 просмотров
schedule 05.09.2022

Ошибка «Ответ слишком большой для возврата» при использовании целевой таблицы и опции «Разрешить большие результаты»
Я пытаюсь выполнить запрос, который объединяет таблицу из примерно 1 миллиона строк с меньшей и сохраняет результаты в целевой таблице через пользовательский интерфейс BigQuery. Я проверил опцию «Разрешить большие результаты». Однако после 30 секунд...
659 просмотров
schedule 15.11.2022

Чрезвычайно долгое время работы
Примерно с 10:20 по восточному стандартному времени этим утром наше приложение имело дело с (осмелюсь сказать) смехотворно долгим временем работы - за пределами того, что нормально. Похоже, это происходит только в конкретном наборе данных, поскольку...
52 просмотров
schedule 07.05.2024

загрузить несколько CSV из облака Google в bigquery
Мне нужно загрузить несколько файлов CSV из моей корзины Google. Пытался указать на корзину при создании набора данных, но получил ошибку. также пытался gsutil load <projectID:dataset.table> gs://mybucket это не сработало. Мне...
2153 просмотров

Напишите задание Cron на Java в GAE для запуска BigQuery
Я хочу запустить задание cron в GAE, которое внутренне вызывает BigQuery. В настоящее время я могу запустить BigQuery, но мне нужно войти в систему со своими учетными данными. Но я хотел бы запустить задание cron для BigQuery без входа в систему....
492 просмотров
schedule 09.04.2024

BigQuery: выберите из regexp_match, где поле в другой таблице
Как я могу выбрать некоторые поля из нескольких таблиц при перекрестной проверке с каким-либо полем из другой таблицы. Мне нужна информация от удидов, перечисленных в другой таблице. Пример прояснит: SELECT udid, score FROM...
1564 просмотров
schedule 07.07.2022

Как обойти ограничение BigQuery на 20 одновременных запросов?
Интересно, знает ли кто-нибудь... или сталкивался с этим... для BigQuery существует ограничение в 20 одновременных запросов. https://developers.google.com/bigquery/quota-policy#queries Есть ли способ отключить лимит? Нашим задачам MapReduce...
724 просмотров
schedule 07.04.2024

PHP-авторизация Bigquery API
Я пытаюсь получить доступ к bigquery api с помощью библиотеки PHP, но у меня всегда возникает эта ошибка: Неустранимая ошибка: необработанное исключение «Google_Service_Exception» с сообщением «Ошибка при вызове GET...
946 просмотров

Поток Bigquery: «Не удалось вставить XX строк из-за тайм-аута»
Последние дни наш стрим встречался с "Failed to insert XX rows. First error: {"errors":[{"reason":"timeout"}],"index":YY}" За последние полмесяца непрерывного стриминга из неизменных источников данных и программных скриптов такого сбоя...
986 просмотров
schedule 29.06.2022

API Bigquery: выполнение запроса с таблицей назначения не сохраняет результаты
Я пытаюсь использовать скрипт Google Apps для автоматизации ежедневного процесса агрегирования. Идея состоит в том, чтобы запустить несколько таблиц из одного набора данных и сохранить их результаты в таблицу второго набора данных. У моего...
1891 просмотров
schedule 03.11.2023

Интеграция bigQuery и GA-Premium: как использовать IP-фильтры в bigQuery (для исключения внутреннего трафика) при экспорте данных из нефильтрованного представления в GA
Недавно мы подключили GA Premium к bigQuery, чтобы экспортировать все данные без выборки из 1 ресурса и 1 представления. Мы решили использовать нефильтрованное представление в едином свойстве наших клиентов, чтобы убедиться, что мы получаем все...
1136 просмотров
schedule 26.02.2024

UDF в ошибке bigquery
Я работаю ниже простого UDF и получаю сообщение «Ошибка: 3.3–14.6: TVF Javascript отключены». Кто-нибудь знает об этом? Запрос: select * from js( (publicdata:samples.shakespeare), word, word_count, "[{name: 'word', type:'string'}, {name:...
1291 просмотров
schedule 08.07.2022

Текущая сумма BigQuery
У меня есть набор данных в BigQuery, в котором записываются пожертвования, сделанные отдельным лицам в преддверии мероприятия. Вот схема first_name: STRING --- (это имя донора) payment_date: TIMESTAMP --- (дата пожертвования) сумма: STRING...
786 просмотров

Как использовать разрешения на уровне строк в BigQuery?
Google объявил об этой функции сегодня, но я не вижу никаких документов для нее. Как я могу предоставить пользователю разрешения на уровне строк? Например, допустим, у меня есть таблица private.all_customers со схемой {customer:string,...
3716 просмотров
schedule 22.02.2024

Нельзя использовать расчетное смещение в функции DATE_ADD в BigQuery.
Я пытаюсь создать собственный запрос в Tableau для использования в Google BigQuery. Цель состоит в том, чтобы иметь параметр смещения в Tableau, который изменяет смещения, используемые в предложении WHERE на основе даты. В Tableau это будет...
229 просмотров

Проблемы с производительностью в проекте BigQuery: превышен ресурс
Внезапно в последнее время мы видим проблемы с производительностью нашего проекта: aerobic-forge-504 job_NKHejDJbT1Qn3Z3ILJEP9c78MXc query FAILURE 14 Jul 10:12:11 0:18:52 job_qtv2MFOtIKZDzaNHTbXrCOt3THI query SUCCESS 14...
91 просмотров
schedule 25.06.2022