Изучение некоторых из самых мощных инструментов мониторинга пользовательского интерфейса для кластеров Apache Kafka
Введение
Apache Kafka - один из самых быстрорастущих продуктов, который получил широкое распространение во многих компаниях по всему миру. Если вы используете Kafka в производственной среде, очень важно иметь возможность отслеживать кластер и управлять им.
В этой статье содержится обновленный список самых популярных и мощных инструментов мониторинга кластеров Apache Kafka. Вы также можете найти более старый список рекомендаций, которые я предложил в статье, написанной несколько лет назад.
В частности, в этой статье мы рассмотрим следующие инструменты и сервисы, которые помогут вам управлять и контролировать работоспособность кластеров Kafka в организациях:
- Confluent Control Center и Здоровье +
- Линзы
- Xinfra Monitor (ранее Kafka Monitor)
- Круиз-контроль
- CMAK (ранее Kafka Manager)
Confluent Control Center и Здоровье +
Confluent Control Center - это веб-инструмент с пользовательским интерфейсом, который упрощает мониторинг и администрирование кластера. В частности, вы можете быстро получить доступ к обзору работоспособности кластера, получить доступ и наблюдать за сообщениями, темами и службами реестра схем, а также выполнять ksql запросы.
Технически инструмент скомпрометирован компонентами, которые собирают метрические данные по производителям и потребителям, Kafka, который используется для перемещения собранных метрик, и сервером приложений Control Center, который используется для анализа потоковых метрик.
Confluent Health + - еще один инструмент, который можно использовать для управления и мониторинга платформы Confluent (на самом деле он был представлен в Confluent Platform версии 6.2).
В частности, Health + может помочь вам настроить интеллектуальные и основанные на правилах оповещения, для которых вы можете получать уведомления на определенных конечных точках, таких как электронная почта или Slack. Кроме того, вы можете просматривать все собранные метрики, как показано на рисунке выше, а также интегрировать Health + с другими инструментами мониторинга, такими как Prometheus.
Линзы
Lenses предлагает полный инструмент пользовательского интерфейса Kafka, который позволяет разработчикам и инженерам отслеживать работоспособность инфраструктуры Kafka, а также производительность приложений. Кроме того, инструмент можно использовать для настройки предупреждений в режиме реального времени, что упрощает эффективное управление инцидентами.
Инструмент линз также позволяет устранять неполадки с помощью интуитивно понятного пользовательского интерфейса, который позволяет запрашивать Kafka с помощью SQL.
Вы можете увидеть более подробную информацию о ценах на линзы на их официальном сайте.
Xinfra Monitor (ранее Kafka Monitor)
Xinfra Monitor - это инструмент с открытым исходным кодом, разработанный LinkedIn, который используется для настройки и выполнения длительных системных тестов на кластерах Kafka. Это помогает разработчикам и администраторам фиксировать ошибки или регрессии, которые обычно наблюдаются редко или только по прошествии длительного периода времени.
Кроме того, он помогает контролировать кластер с помощью сквозных конвейеров, которые собирают такие метрики, как сквозная задержка, доступность услуг, доступность производителей и потребителей, скорость потери сообщений и многое другое.
Круиз-контроль
Круиз-контроль - это еще один инструмент LinkedIn с открытым исходным кодом, который помогает запускать кластеры Kafka в большом масштабе и предназначен для решения проблем масштабируемости, таких как смерть брокера и баланс рабочей нагрузки.
В частности, инструмент позволяет отслеживать и отслеживать использование ресурсов, запрашивать состояние кластера и наблюдать за разделами, репликами и распределением. Кроме того, вы можете отслеживать обнаружение аномалий и настраивать предупреждения и процессы самовосстановления, а также повторную балансировку.
Кроме того, вы также можете выполнять традиционное администрирование, такое как добавление или удаление брокеров, регулировка коэффициента репликации, ребалансировка кластера, исправление автономных реплик и запуск выбора предпочтительного лидера.
CMAK (ранее Kafka Manager)
CMAK (Cluster Manager for Apache Kafka) - это инструмент с открытым исходным кодом, который помогает вам управлять кластерами Kafka.
В частности, этот инструмент может помочь вам управлять различными кластерами, что довольно удобно, если, скажем, вы хотите отслеживать кластеры в различных средах, как показано ниже.
Кроме того, CMAK может помочь вам проверить состояние кластера, включая темы, потребителей, смещения, брокеров, реплики и распределение разделов.
Кроме того, инструмент может помочь вам удалить темы, переназначить разделы, настроить номер раздела, обновить конфигурацию темы и выполнить назначение разделов вручную через интерактивный пользовательский интерфейс.
Инструмент довольно легко настраивается - более подробную информацию о том, как его настроить и запустить, можно найти в соответствующем разделе документации.
Последние мысли
В этой статье мы рассмотрели наиболее часто используемые инструменты мониторинга, которые можно использовать для эффективного контроля и управления кластерами Apache Kafka.
Лично я считаю, что Confluent - первые создатели Kafka - предлагают лучший инструмент на рынке, который также имеет определенную стоимость. Это означает, что есть вероятность, что вы не сможете позволить себе лицензирование для этой конкретной службы мониторинга, и поэтому вам необходимо рассмотреть другие варианты, описанные в этой статье. Обратите внимание, что инструмент Health + имеет бесплатный уровень - для получения дополнительной информации о его ценах см. Документацию Confluent.
Второй лучший вариант - это, вероятно, линзы, которые также требуют платной лицензии, но, вероятно, по значительно более низкой цене. Если вы не можете позволить себе лицензии, то LinkedIn Cruise Control и CMAK - достаточно хорошие решения, которые определенно облегчат вам жизнь, когда дело доходит до управления и мониторинга кластеров.
Станьте участником и читайте все новости на Medium. Ваш членский взнос напрямую поддерживает меня и других писателей, которых вы читаете.
Вам также может понравиться
