Публикации по теме 'airflow'


Как запустить воздушный поток
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 2, часть 2 Введение Эта серия постов предназначена для того, чтобы обобщить мои выводы из книги Баса Харенслака и Джулиана де Руйтера. Если вы…
Понимание инженерии данных
Мир технологий полон соблазнительных модных словечек. Крайне желательны знания в таких областях, как машинное обучение, искусственный интеллект и нейронные сети. В современной сфере больших данных задача написания алгоритмов не влечет за собой автоматически ответственности за очистку данных. Организация и подготовка данных для ученых и исследователей сами по себе превратились в сложные задачи. Именно здесь инженеры данных вступают в игру и выполняют свою решающую роль в этой..
Проектирование систем оркестровки машинного обучения для стартапов
"Часы работы" Разработка систем оркестровки машинного обучения для стартапов Пример создания облегченной системы оркестровки машинного обучения производственного уровня Недавно у меня была возможность создать платформу машинного обучения в стартапе в области здравоохранения. В этой статье рассказывается о архитектурном проектировании, технических компромиссах, деталях реализации и извлеченных уроках на примере разработки платформы оркестровки машинного обучения для стартапов..
101 Руководство по операторам Apache Airflow
Apache Airflow — это инструмент для автоматизации рабочих процессов, задач и координации других программ в кластерах компьютеров. Airflow расширяет возможности организаций благодаря простому языку, основанному на правилах, который позволяет кодировать сложную обработку данных за считанные минуты. В этом посте мы узнаем об операторах воздушного потока, которые вы можете использовать для создания собственных пайплайнов. Операторы выполняют инструкции, содержащиеся в вашем скрипте или..
Использование декораторов воздушного потока для создания DAG
Создание DAG и задач Apache Airflow с помощью декораторов Python Введение Наиболее распространенный способ написания конвейеров в Airflows — использование менеджеров контекста DAG для автоматического назначения новых операторов этой DAG. Начиная с Airflow 2, теперь вы можете использовать декораторы для создания DAG и задач Airflow. В сегодняшнем уроке мы представим эти декораторы и покажем, как их можно использовать для написания более чистого кода. Кроме того, мы также..
Airflow: развертывание DAG в AWS
В предыдущих статьях мы впервые подчеркнули важность инструментов оркестровки и преимущества Airflow в этой области. После этого мы углубились в техническую часть воздушного потока, изучая его архитектуру и то, как мы можем автоматизировать рабочие процессы с помощью некоторых примеров кода. Вот ссылки на предыдущие две статьи. Airflow: ведущий оркестратор И почему вам следует об этом знать medium.com..
Как постепенно обрабатывать данные в Airflow
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 3, часть 3 Введение Эта серия постов подытоживает мои выводы из книги Баса Харенслака и Джулиана де Рюйтера. Если вам нравится контент, вы можете…