Публикации по теме 'kafka-python'


Внедрение ML в производство I: использование Apache Kafka в Python.
Это первый из двух постов, в которых мы проиллюстрируем, как можно использовать ряд инструментов (в основном Kafka и MLFlow ), чтобы помочь в разработке ML. С этой целью мы создадим простой сценарий, который, как мы надеемся, будет похож на некоторые реальные варианты использования, а затем опишем потенциальное решение. Репо-компаньон со всем кодом можно найти здесь . Сценарий Компания собирает данные с помощью ряда сервисов, которые генерируют события, когда пользователи /..

Вопросы по теме 'kafka-python'

Отправка большого CSV в Kafka с использованием python Spark
Я пытаюсь отправить большой CSV в кафку. Основная структура - прочитать строку CSV и закрепить ее с заголовком. a = dict(zip(header, line.split(",") Затем он преобразуется в json с помощью: message = json.dumps(a) Затем я использую...
7374 просмотров

Zookeeper -Kafka: ConnectException - в соединении отказано
Я пытаюсь настроить 3 брокера Kafka на компьютерах ubuntu EC2 . Но я получаю ConnectException при запуске zookeeper . Все порты в security group из ec2 моих экземпляров уже открыты. Ниже приведена трассировка стека: [2016-03-03...
2916 просмотров

Сообщения опроса Kafka Consumer с помощью python
У меня проблемы с опросом сообщений от Kafka в группе потребителей. Мой потребительский объект назначается данному разделу с помощью self.ps = TopicPartition(topic, partition ) и после этого потребитель присваивает этому разделу:...
11263 просмотров

Ошибка автоматической фиксации смещения для группы my_group_id в объединенном кластере kafka
У меня есть кластер Confluent Kafka с 3 узлами, и я использую kafka-python для подключения к Kafka и использования. мой index.py файл: cid = "_" + str(randint(1, 99999999)) consumer = KafkaConsumer('test',...
1079 просмотров
schedule 24.08.2022

не могу читать \ писать из темы кафки
У меня Kafka работает в контейнере на моем рабочем столе. Я могу легко подключиться к нему с помощью инструмента под названием «Kafka tool», где, например, я могу просматривать свои темы. У меня проблемы с чтением и записью в / из темы Kafka. что...
580 просмотров

Субоптимальное разбиение в потребительской группе Kafka
Я столкнулся со своеобразной проблемой, работая с потребителями Kafka. Когда у меня есть тема с несколькими разделами и группой потребителей, потребление в конечном итоге становится несбалансированным, если количество потребителей меньше, чем...
119 просмотров