Вопросы по теме 'kafka-consumer-api'
Кафка - Создание группы потребителей с определенным смещением?
После создания темы в Kafka вы можете создать произвольное количество групп потребителей, просто пытаясь использовать эти группы для чтения из темы.
Я хотел бы создать дополнительную группу потребителей для мониторинга содержания сообщений реальных...
4080 просмотров
schedule
18.07.2022
что такое параметр подсчета тем для Kafka ConsumerConnector
Я новичок в apache kafka и попробую с приведенными примерами.
Следующий фрагмент кода используется для инициализации ConsumerConnector. Меня смущает параметр количества тем; кажется, это приведет к тому, что kafka раздаст соответствующее...
842 просмотров
schedule
28.08.2022
Kafka Consumer Маркировка координатора 2147483647 мертвых
Я использую Kafka Server 0.9 с клиентом kafka-client версии 0.9 и производителем 0.8.2.
Все работает отлично, за исключением того, что я получаю много информации о том, что координатор мертв на потребителе.
2016-02-25 19:30:45.046 INFO 10263...
38744 просмотров
schedule
07.02.2024
Предотвращение потери сообщений с помощью Kafka High Level Consumer 0.8.x
Типичный потребитель кафки выглядит следующим образом:
kafka-broker ---> kafka-consumer ----> downstream-consumer, например Elastic-Search
И согласно документации для Kafka High Level Consumer :
Параметр «auto.commit.interval.ms»...
1065 просмотров
schedule
24.09.2022
сообщения avro python confluent-kafka
Итак, я могу успешно использовать api python confluent-kafka для получения сообщений от Kafka, которые закодированы в тексте.
Когда я пытаюсь использовать закодированные (двоичные) сообщения Avro, я получаю исключение UnicodeDecodeError:
msg =...
915 просмотров
schedule
20.07.2022
Подписка на паттерн Кафка. Ребалансировка не запускается по новой теме
Согласно документации на kafka javadocs , если я:
Подпишитесь на шаблон
Создайте тему, соответствующую шаблону
Должна произойти перебалансировка, которая заставит потребителя прочитать новую тему. Но этого не происходит.
Если я...
4150 просмотров
schedule
11.10.2023
ИНФОРМАЦИЯ Закрытое сокетное соединение для клиента /127.0.0.1:48452 с идентификатором сеанса 0x15698f5ac360001 (org.apache.zookeeper.server.NIOServerCnxn)
Я установил свежий зоопарк и кафку. Я начал их обоих. Затем, когда я хочу увидеть список тем с помощью этой команды:
bin/kafka-topics.sh --list --zookeeper localhost 2181
Это дает мне закрытое соединение сокета. Вот снимок экрана:...
16651 просмотров
schedule
30.10.2022
Сопоставление раздела Kafka с группами потребителей / потребителей Kafka
Я читаю FAQ Kafka, где они указывают, как показано ниже.
• Каждый раздел не используется более чем одним потоком / процессом потребителя в каждой группе потребителей. Это позволяет потреблять каждый процесс в однопоточном режиме, чтобы...
570 просмотров
schedule
25.03.2024
Балансировка потребителей Kafka
Допустим, у меня есть 10 разделов по заданной теме в Kafka. Какие у меня есть варианты для автоматической балансировки нагрузки этих 10 разделов между потребителями?
Я прочитал этот пост https://stackoverflow.com/a/28580363/317384 , но не уверен,...
8289 просмотров
schedule
14.10.2022
Подсчет количества сообщений, хранящихся в теме kafka
Я использую версию Kafka 0.9.0.0 и хочу подсчитать количество сообщений в теме без использования административного скрипта kafka-console-consumer.sh.
Я пробовал все команды в ответе Java, Как получить количество сообщений в теме в apache kafka ,...
66594 просмотров
schedule
28.06.2022
Node как потребитель Kafka
Я искал пакеты для Node следующим образом: https://www.npmjs.com/package/kafka и https://www.npmjs.com/package/no-kafka
Мой вопрос: эти пакеты заставляют node.js постоянно подписываться на kafka? или Мне нужны какие-то пакеты, такие как...
151 просмотров
schedule
07.08.2022
Обойти Zookeeper в клиентах производителя/потребителя?
Это дополнительный вопрос к предыдущему обсуждению . Я думаю о Zookeeper как о координаторе экземпляров брокера Kafka или «шины сообщений». Я понимаю, почему мы можем захотеть, чтобы клиенты-производители/потребители совершали транзакции через...
216 просмотров
schedule
21.10.2023
Кафка: правильный способ опроса без записей
для поддержания жизни моего потребителя (очень долгая обработка переменной длины) я реализую пустой вызов poll () в фоновом потоке, который не даст брокеру перебалансировать, если я потрачу слишком много времени между опросами (). Я установил очень...
1182 просмотров
schedule
29.06.2022
Как получить последнее смещение из темы Kafka в библиотеке Confluent kafka C #?
Я использую клиент Confluent kafka C #. как получить последнее использованное смещение из темы в этом?
7811 просмотров
schedule
02.02.2024
API потребителя/производителя Kafka
Как подсчитать, сколько всего сообщений было отправлено в тему в Kafka и сколько было потреблено или зафиксировано потребителем в то время?
Я инициирую коннектор kafka как-
Map<String, String> kafkaParams = new HashMap<>();...
79 просмотров
schedule
21.04.2024
Сообщения производителя Kafka не отображаются у потребителя (чтение через потоковую передачу kafka-spark)
Используемая команда KAFKA PRODUCER:
#-> kafka-console-producer --broker-list brokerhost:9093 --topic testtopic --producer.config client.properties
Hello
How are you
Bye
Where is my message?
Фрагмент кода, используемый потоковой...
713 просмотров
schedule
16.09.2022
Сколько разделов я должен создать для потребителей кафки?
В настоящее время у меня есть только один раздел темы и только один потребитель. Но мой потребитель работает медленно, поэтому я хочу добавить новых потребителей в ту же тему.
Но в то же время я также хочу, чтобы все потребители обрабатывали...
680 просмотров
schedule
30.07.2022
настройка нескольких узлов kafka активный-активный
Я новичок в кафке и у меня есть некоторые основные сомнения. Я пытался настроить многоузловую кафку (Active-Active). вот сценарий: -
работает одиночный zookeeper (порт: 2181)
запустил трех брокеров кафки (9092,9093,9094)
создать тест по...
834 просмотров
schedule
29.10.2023
повторно обработать сообщения maprstream с помощью Spring интеграции kafka
Это связано с потоком , и я использую spring-integration-kafka 2.0 для получения сообщений из тем потока mapr. Я столкнулся с трудностями при использовании функция KafkaConsumer - повторная обработка сообщений maprstream - с использованием...
199 просмотров
schedule
08.11.2023
Kafka - несколько потребителей, которые слушают несколько тем
Мы работаем над приложением, в котором хотим слушать более одной темы в Kafka. Все темы имеют единый раздел. Все названия тем будут иметь общий префикс, например "test-x", "test-y", поэтому мы можем использовать для этого spring topicPattern ....
1904 просмотров
schedule
11.10.2023
