Публикации по теме 'bigquery'


Использование оконных функций в Google BigQuery
Как и когда использовать оконную функцию BigQuery SQL Что такое оконная функция и как вы можете использовать ее в BigQuery SQL и, что более важно, каковы варианты ее использования? Оконная функция в SQL — это аналитическая функция, которая использует значения из одного или нескольких кортежей для возврата одного значения для каждого кортежа. В отличие от агрегатной функции…
Использование функции Farm Fingerprint в BigQuery
Как хешировать данные в Google BigQuery Google выпустил быстрое хэширование с помощью CityHash64 (64-разрядная версия) и CityHash128 (128-разрядная версия) в 2011 году. В 2014 году Google выпустил Farmhash в качестве преемника CityHash, который имел ряд улучшений [1]. Эту функцию также можно использовать в Google BigQuery. Функция вычисляет отпечаток ввода STRING или BYTES , используя функцию Fingerprint64 из библиотеки FarmHash с открытым исходным кодом . Выход этой функции..
Теперь доступно: транзакции с несколькими операторами в BigQuery
BigQuery SQL теперь поддерживает транзакции с несколькими операторами BigQuery теперь поддерживает транзакции с несколькими операторами внутри одного запроса или даже между несколькими запросами при использовании сеансов [1]. Google объявляет, что транзакция с несколькими операторами позволяет выполнять изменяющие операции, такие как вставка или удаление строк в одной или нескольких таблицах…
dbt и машинное обучение? Возможно!
В одной из наших недавних публикаций в блоге Представление современной платформы данных GetInData — решения самообслуживания для инженеров-аналитиков мы поделились с вами нашим видением современной платформы данных. Мы намеревались создать рабочее пространство, которое хотел бы использовать каждый инженер-аналитик, поэтому мы поместили dbt в центральную точку нашей структуры. dbt позволяет нам строить конвейеры данных быстро, эффективно и с большим вниманием к качеству данных —..
Как разделить и сэмплировать набор данных в BigQuery с помощью SQL
Легко сегментируйте данные на обучающие, проверочные и тестовые наборы Зачем разделять наш набор данных? Разделение данных означает, что мы разделим их на подмножества. Для моделей науки о данных наборы данных обычно делятся на два или три подмножества : обучение, проверка и тестирование. У каждого подмножества данных есть цель, от создания модели до обеспечения ее производительности. Краткое определение различных сегментов: Обучение . По сути, это подмножество данных,..
Развлечения с данными GHCN в Google BigQuery…
Что-то близкое и дорогое моему сердцу работает над улучшением прогнозов погоды. Одним из распространенных методов улучшения прогнозов погоды является калибровка (или корректировка) результатов численных прогнозов погоды с помощью статистической модели, которая обучена ретроспективным прогнозам и проверена на основе наблюдений из различных источников. Некоторые из наиболее известных продуктов включают Аналоги CIPS Университета Сент-Луиса и продукты NOAA / ESRL, основанные на Наборе данных..
Машинное обучение с использованием SQL?! — Большой запрос BQML
Ученые и аналитики данных могут использовать BigQuery для быстрого анализа больших данных с помощью SQL, без оптимизации и кода для работы с большими данными. Ух ты. Знаете ли вы, что он также может запускать алгоритмы машинного обучения?! Да, ИИ с SQL, без особых усилий (в нашем профиле есть бесплатные учебники по SQL). Yay для ИИ с низким кодом. В следующем посте мы обсудим декларативный ИИ, даже меньше кода. Прежде всего, что такое Google Cloud BigQuery? Это отличный уровень..