Публикации по теме 'google-bigquery'
Быстрое и простое построение модели Google BigQuery ML
SQL + ML = магия
Что такое BQML?
Одной из менее интуитивно понятных частей построения моделей машинного обучения является сортировка и выборка данных (например, с использованием Pandas). Было бы неплохо, если бы вы могли просто использовать SQL?
Да, хорошо , что с Google Cloud Platform (GCP) BigQuery ML (BQML) вы можете сочетать лучшее от ML и лучшее от SQL. Должен признаться, когда я впервые увидел SQL, создающий регрессионную модель, я был поражен.
Как насчет примера?..
Вопросы по теме 'google-bigquery'
BigQuery: 403 превышен предел скорости пользователя, но ошибка не отображается в списке заданий
Я получаю 403 User Rate Limit Exceeded, ошибка при выполнении запросов, но я уверен, что не превышаю. В прошлом я достиг предела скорости выполнения вставок, и это было отражено в списке заданий как
[errorResult] => Массив ([причина] =>...
2470 просмотров
schedule
18.10.2023
Загрузка журналов из корзины Google Cloud Storage в BigQuery
Моя цель - перенести все мои (созданные в GCS) журналы из Google Cloud Storage в BigQuery с помощью веб-интерфейса BigQuery. Поскольку журналы создаются ежечасно, я люблю импортировать их все сразу для анализа.
Так, например, gs:...
444 просмотров
schedule
30.01.2024
Получить выполненный запрос из jobId BigQuery
С помощью API списка заданий BigQuery я получаю список выполненных заданий. и их статус. Есть ли быстрый способ получить выполненный запрос по ссылке на задание?
645 просмотров
schedule
28.07.2022
Как автоматизировать получение платежных данных BigQuery?
Сейчас мы довольно интенсивно используем BigQuery, и мне поручили отслеживать, сколько мы тратим на запросы каждый день. Кажется, нет простого способа сделать это в BigQuery? Кто-нибудь еще сделал это уже?
Я начал пытаться очистить его...
180 просмотров
schedule
16.03.2024
BigQuery COUNT (DISTINCT значение) vs COUNT (значение)
Я обнаружил глюк / ошибку в bigquery. У нас есть таблица, основанная на данных банковской статистики в разделе starschema.net:clouddb:bank.Banks_token
Если я выполню следующий запрос:
SELECT count(*) as totalrow,
count(DISTINCT BankId ) as...
64501 просмотров
schedule
05.09.2022
Ошибка «Ответ слишком большой для возврата» при использовании целевой таблицы и опции «Разрешить большие результаты»
Я пытаюсь выполнить запрос, который объединяет таблицу из примерно 1 миллиона строк с меньшей и сохраняет результаты в целевой таблице через пользовательский интерфейс BigQuery. Я проверил опцию «Разрешить большие результаты». Однако после 30 секунд...
659 просмотров
schedule
15.11.2022
Чрезвычайно долгое время работы
Примерно с 10:20 по восточному стандартному времени этим утром наше приложение имело дело с (осмелюсь сказать) смехотворно долгим временем работы - за пределами того, что нормально. Похоже, это происходит только в конкретном наборе данных, поскольку...
52 просмотров
schedule
07.05.2024
загрузить несколько CSV из облака Google в bigquery
Мне нужно загрузить несколько файлов CSV из моей корзины Google. Пытался указать на корзину при создании набора данных, но получил ошибку. также пытался
gsutil load <projectID:dataset.table> gs://mybucket
это не сработало.
Мне...
2153 просмотров
schedule
27.04.2024
Напишите задание Cron на Java в GAE для запуска BigQuery
Я хочу запустить задание cron в GAE, которое внутренне вызывает BigQuery.
В настоящее время я могу запустить BigQuery, но мне нужно войти в систему со своими учетными данными. Но я хотел бы запустить задание cron для BigQuery без входа в систему....
492 просмотров
schedule
09.04.2024
BigQuery: выберите из regexp_match, где поле в другой таблице
Как я могу выбрать некоторые поля из нескольких таблиц при перекрестной проверке с каким-либо полем из другой таблицы. Мне нужна информация от удидов, перечисленных в другой таблице.
Пример прояснит:
SELECT udid, score
FROM...
1564 просмотров
schedule
07.07.2022
Как обойти ограничение BigQuery на 20 одновременных запросов?
Интересно, знает ли кто-нибудь... или сталкивался с этим... для BigQuery существует ограничение в 20 одновременных запросов.
https://developers.google.com/bigquery/quota-policy#queries
Есть ли способ отключить лимит? Нашим задачам MapReduce...
724 просмотров
schedule
07.04.2024
PHP-авторизация Bigquery API
Я пытаюсь получить доступ к bigquery api с помощью библиотеки PHP, но у меня всегда возникает эта ошибка:
Неустранимая ошибка: необработанное исключение «Google_Service_Exception» с сообщением «Ошибка при вызове GET...
946 просмотров
schedule
09.08.2022
Поток Bigquery: «Не удалось вставить XX строк из-за тайм-аута»
Последние дни наш стрим встречался с
"Failed to insert XX rows. First error: {"errors":[{"reason":"timeout"}],"index":YY}"
За последние полмесяца непрерывного стриминга из неизменных источников данных и программных скриптов такого сбоя...
986 просмотров
schedule
29.06.2022
API Bigquery: выполнение запроса с таблицей назначения не сохраняет результаты
Я пытаюсь использовать скрипт Google Apps для автоматизации ежедневного процесса агрегирования. Идея состоит в том, чтобы запустить несколько таблиц из одного набора данных и сохранить их результаты в таблицу второго набора данных. У моего...
1891 просмотров
schedule
03.11.2023
Интеграция bigQuery и GA-Premium: как использовать IP-фильтры в bigQuery (для исключения внутреннего трафика) при экспорте данных из нефильтрованного представления в GA
Недавно мы подключили GA Premium к bigQuery, чтобы экспортировать все данные без выборки из 1 ресурса и 1 представления. Мы решили использовать нефильтрованное представление в едином свойстве наших клиентов, чтобы убедиться, что мы получаем все...
1136 просмотров
schedule
26.02.2024
UDF в ошибке bigquery
Я работаю ниже простого UDF и получаю сообщение «Ошибка: 3.3–14.6: TVF Javascript отключены». Кто-нибудь знает об этом?
Запрос:
select * from
js(
(publicdata:samples.shakespeare),
word, word_count,
"[{name: 'word', type:'string'},
{name:...
1291 просмотров
schedule
08.07.2022
Текущая сумма BigQuery
У меня есть набор данных в BigQuery, в котором записываются пожертвования, сделанные отдельным лицам в преддверии мероприятия. Вот схема
first_name: STRING --- (это имя донора)
payment_date: TIMESTAMP --- (дата пожертвования)
сумма: STRING...
786 просмотров
schedule
27.09.2022
Как использовать разрешения на уровне строк в BigQuery?
Google объявил об этой функции сегодня, но я не вижу никаких документов для нее. Как я могу предоставить пользователю разрешения на уровне строк?
Например, допустим, у меня есть таблица private.all_customers со схемой {customer:string,...
3716 просмотров
schedule
22.02.2024
Нельзя использовать расчетное смещение в функции DATE_ADD в BigQuery.
Я пытаюсь создать собственный запрос в Tableau для использования в Google BigQuery. Цель состоит в том, чтобы иметь параметр смещения в Tableau, который изменяет смещения, используемые в предложении WHERE на основе даты.
В Tableau это будет...
229 просмотров
schedule
16.10.2022
Проблемы с производительностью в проекте BigQuery: превышен ресурс
Внезапно в последнее время мы видим проблемы с производительностью нашего проекта: aerobic-forge-504
job_NKHejDJbT1Qn3Z3ILJEP9c78MXc query FAILURE 14 Jul 10:12:11 0:18:52
job_qtv2MFOtIKZDzaNHTbXrCOt3THI query SUCCESS 14...
91 просмотров
schedule
25.06.2022