Публикации по теме 'apache-kafka'


Кафка и Redis Streams
Поговорим о дизайне очереди. У нас есть очень длинная книга, которую мы хотим, чтобы ее прочитали многие. Кто-то может читать во время обеденного перерыва, кто-то читает по понедельникам, а кто-то забирает это домой на выходные. Книга настолько длинная, что в любой момент ее читают сотни людей. Читатели нашей книги должны следить за тем, где они находятся в нашей книге, поэтому они отслеживают свое местоположение, помещая закладку в книгу . Некоторые читатели читают очень медленно,..
Сочетание Materialize и Redpanda для потоковой передачи данных IoT в реальном времени
Учебное пособие по созданию приложения для отслеживания активности в стиле Fitbit с помощью Redpanda и Materialize. Данные, генерируемые устройствами Интернета вещей (IoT), считаются большими данными. Сбор и обработка данных IoT были сложными из-за классических «3V» больших данных: объем, скорость и достоверность, что требовало использования аналитических систем IoT для получения сложной инфраструктуры хранения и обработки данных. При рассмотрении инструментов для обработки данных..
Текстовые запросы в реальном времени с использованием Elasticsearch и Redpanda
Узнайте, как интегрировать Elasticsearch с Redpanda с помощью Kafka Connect и создать приложение для поиска текста в реальном времени. В 2022 году ежедневно создается более 2,5 квинтиллионов байт данных. По состоянию на 2025 год оценки увеличиваются до 463 экзабайт данных каждый день. Создавать данные — это хорошо, и иметь возможность хранить их где-то, где они всегда доступны, например, в облаке, — это здорово. Возможность запрашивать эти данные еще лучше. Но что, если вам..
15 команд Kafka CLI для повседневного программирования
Демонстрация использования наиболее часто используемых команд интерфейса командной строки Kafka Введение Apache Kafka — одна из наиболее часто используемых технологий, упрощающих создание архитектур с равномерной потоковой передачей. Несмотря на то, что его часто считают *просто* брокером сообщений (например, как RabbitMQ), Kafka определенно намного больше, чем просто это. Kafka был внутренним проектом LinkedIn, исходный код которого был открыт в 2011 году и быстро превратился из..
Kafka Python Обработка данных
Программирование Kafka Python Обработка данных Цель этой статьи - прочитать данные из таблицы Oracle DB и отправить записи в формате JSON в Kafka Broker, а затем прочитать сообщения от Kafka Broker и вставить сообщения JSON в коллекцию MongoDB. Блог содержит фундаментальный ETL сборка системы обмена сообщениями с использованием Oracle в качестве источника, Kafka в качестве промежуточного программного обеспечения и MongoDB в качестве цели. Это мой третий блог из серии Kafka,..
Внедрение ML в производство I: использование Apache Kafka в Python.
Это первый из двух постов, в которых мы проиллюстрируем, как можно использовать ряд инструментов (в основном Kafka и MLFlow ), чтобы помочь в разработке ML. С этой целью мы создадим простой сценарий, который, как мы надеемся, будет похож на некоторые реальные варианты использования, а затем опишем потенциальное решение. Репо-компаньон со всем кодом можно найти здесь . Сценарий Компания собирает данные с помощью ряда сервисов, которые генерируют события, когда пользователи /..
Инструменты мониторинга пользовательского интерфейса Kafka (обновление 2021 г.)
Изучение некоторых из самых мощных инструментов мониторинга пользовательского интерфейса для кластеров Apache Kafka Введение Apache Kafka - один из самых быстрорастущих продуктов, который получил широкое распространение во многих компаниях по всему миру. Если вы используете Kafka в производственной среде, очень важно иметь возможность отслеживать кластер и управлять им. В этой статье содержится обновленный список самых популярных и мощных инструментов мониторинга кластеров Apache..