Вопросы по теме 'spring-kafka'
Задержка потребителя сообщения Spring kafka
Я использую Spring kafka 1.0.3 для сообщения потребителя kafka. 2 темы в кафке и каждая тема имеет 1 раздел. В java-коде есть 2 @KafkaListener для потребителя каждого сообщения темы. Параллелизм ConcurrentKafkaListenerContainerFactory установлен на...
1680 просмотров
schedule
13.11.2023
Контракт Spring Cloud с Spring Kafka
Поддерживает ли Spring Cloud Contract проверку контракта сообщений Spring Kafka из коробки?
1990 просмотров
schedule
19.09.2022
Spring Integration Kafka не работает
Я пытаюсь изучить Spring Integration, используя Kafka и Spring Boot. Я следую этому руководству Интеграция Spring и Kafka
Я использую зависимости, представленные в этом документе, но получаю следующее исключение
Caused by:...
700 просмотров
schedule
27.07.2022
Тип серилизатора, необходимый для отправки ProducerRecord в Kafka
Я использую весеннюю кафку (KafkaTemplate) для отправки строковых сообщений. Но чтобы сделать его совместимым со старым кодом, мне нужно добавить в сообщение дополнительный CorrelationId. поэтому я создаю объект ProducerRecord со своим сообщением в...
492 просмотров
schedule
14.11.2023
повторно обработать сообщения maprstream с помощью Spring интеграции kafka
Это связано с потоком , и я использую spring-integration-kafka 2.0 для получения сообщений из тем потока mapr. Я столкнулся с трудностями при использовании функция KafkaConsumer - повторная обработка сообщений maprstream - с использованием...
199 просмотров
schedule
08.11.2023
Kafka - несколько потребителей, которые слушают несколько тем
Мы работаем над приложением, в котором хотим слушать более одной темы в Kafka. Все темы имеют единый раздел. Все названия тем будут иметь общий префикс, например "test-x", "test-y", поэтому мы можем использовать для этого spring topicPattern ....
1904 просмотров
schedule
11.10.2023
Кафка отмечает координатора мертвым, когда включено автомасштабирование
Мы запускаем кластер Kubernetes с Kafka 0.10.2. В кластере у нас есть набор реплик из 10 реплик, запускающих одну из наших служб, которые используют одну тему как одну группу потребителей.
Недавно мы включили функцию автомасштабирования для этого...
289 просмотров
schedule
28.01.2024
Как написать модульный тестовый пример для добавления обратного вызова для ListenableFuture
Я пытаюсь написать пример модульного теста для ListenableFuture с добавлением обратного вызова, но я не уверен, как это сделать. Ничего полезного в инете не нашла.
@Test
public void can_publish_data_to_kafka() {
String topic =...
7640 просмотров
schedule
06.08.2022
репозиторий spring jpa crud извлекает старые данные из БД в многопоточной среде
Я запускаю приложение весенней загрузки с базой данных mysql и kafka в качестве службы обмена сообщениями (выполняла синхронизацию транзакций с использованием chainedKafkaTransactionManager для kafka и mysql) для некоторых асинхронных операций....
337 просмотров
schedule
22.04.2024
Отключить подключение и создание потребителей в spring-kafka
Я написал простую конфигурацию kafka и потребительский класс, как показано ниже:
Потребитель:
@Service
public class KafkaConsumer {
/**
* This consumer listens for policy download acknowledgements.
*
* @param downloadAck...
1230 просмотров
schedule
07.11.2023
Как выполнить повторную попытку с сохранением состояния с пакетным слушателем Spring Kafka
Я читаю документы здесь https://docs.spring.io/spring-kafka/docs/2.2.6.RELEASE/reference/html/#retrying-deliveries , и я не могу понять, как правильно реализовать повторную попытку с отслеживанием состояния с пакетный слушатель
В документации...
1436 просмотров
schedule
03.11.2023
springBoot ConcurrentKafkaListenerContainerFactory что делать, если нисходящий поток не работает?
Я немного озадачен ConcurrentKafkaListenerContainerFactory и setErrorHandler(org.springframework.kafka.listener.ErrorHandler)
Не могли бы вы дать мне совет?
Мне нужно передать сообщение Kafka во внешнюю систему. Сейчас ErrorHandler...
66 просмотров
schedule
29.04.2024
с помощью руководства Kafka подтвердите получение исключения Kafka Listner: фиксация не может быть завершена иногда
У нас есть Kafka Consumer (параллелизм 5) с ручным подтверждением. В приведенной ниже реализации иногда возникает исключение Фиксация не может быть завершена, поскольку группа уже перебалансирована ...
В сценарии исключения сообщение не...
309 просмотров
schedule
19.09.2022
Шифрование и расшифровка сообщений с помощью Spring Kafka
Я использую Spring Kafka, и одна из тем содержит сообщения с личными данными. Можно ли каким-либо образом настроить Spring Kafka для автоматического шифрования сообщений в Producer/расшифровке сообщений в потребителе, или мне придется делать это...
473 просмотров
schedule
19.12.2023
Сбой сборки тестов Spring Boot / Jhipster Integration для потребителя Kafka
Я пытаюсь написать интеграционные тесты для своего приложения, которое содержит слушателя кафки. Но приложение не запускается из-за ошибки, указанной ниже.
Я не могу показать весь код, так как это часть моей работы. Но это очень простой компонент...
422 просмотров
schedule
24.07.2022
Несколько KafkaListener / Одна тема
Я использую spring-kafka 2.2.12, и я только начинаю.
Я хочу управлять созданием / обновлением бизнес-структур через kafka. По возможности в той же теме, чтобы гарантировать порядок (предоставив бизнес-ключ). Поскольку это не те же типы java...
148 просмотров
schedule
05.03.2024
Инструмент cli производителя kafka для Linux с циклическим перебором
У меня есть рабочий в spring -boot, который слушает тему kafka с 20 разделами. Я создал следующего слушателя:
@KafkaListener(topics = "mytopic")
public void listen(@Payload(required = true) IncomingMessage msg,...
164 просмотров
schedule
06.10.2023
Невозможно опросить / получить все записи из темы kafka
Я пытаюсь опросить данные из определенной темы, например, kafka получает 100 записей / с, но большую часть времени он не извлекает все записи. Я использую тайм-аут 5000 мс и вызываю этот метод каждые 100ms Примечание: я тоже подписываюсь на...
508 просмотров
schedule
13.02.2024
Как масштабировать потребительские приложения kafka по одной теме с более чем одним воркером (одинаковое количество разделов)
Я хотел бы понять, как масштабировать приложение (более нескольких экземпляров), получающее сообщения от Kafka по той же теме. Я сомневаюсь, что у меня есть тема A с 4 разделами, и я создаю @KafkaListener с атрибутом concurrency = 4 и groupId =...
570 просмотров
schedule
15.04.2024
Apache Kafka: 3 раздела, 3 потребителя в группе потребителей, каждый потребитель должен быть многопоточным
Допустим, в Apache Kafka есть тема с 3 разделами. Мне нужно запустить 3 потребителя внутри группы потребителей, и, согласно документации, это означает, что каждый потребитель будет читать данные из 1 раздела.
Потребители реализованы с...
156 просмотров
schedule
19.02.2024
