Публикации по теме 'kafka-python'
Внедрение ML в производство I: использование Apache Kafka в Python.
Это первый из двух постов, в которых мы проиллюстрируем, как можно использовать ряд инструментов (в основном Kafka и MLFlow ), чтобы помочь в разработке ML. С этой целью мы создадим простой сценарий, который, как мы надеемся, будет похож на некоторые реальные варианты использования, а затем опишем потенциальное решение. Репо-компаньон со всем кодом можно найти здесь .
Сценарий
Компания собирает данные с помощью ряда сервисов, которые генерируют события, когда пользователи /..
Вопросы по теме 'kafka-python'
Отправка большого CSV в Kafka с использованием python Spark
Я пытаюсь отправить большой CSV в кафку. Основная структура - прочитать строку CSV и закрепить ее с заголовком.
a = dict(zip(header, line.split(",")
Затем он преобразуется в json с помощью:
message = json.dumps(a)
Затем я использую...
7374 просмотров
schedule
18.02.2024
Zookeeper -Kafka: ConnectException - в соединении отказано
Я пытаюсь настроить 3 брокера Kafka на компьютерах ubuntu EC2 . Но я получаю ConnectException при запуске zookeeper . Все порты в security group из ec2 моих экземпляров уже открыты.
Ниже приведена трассировка стека:
[2016-03-03...
2916 просмотров
schedule
18.04.2024
Сообщения опроса Kafka Consumer с помощью python
У меня проблемы с опросом сообщений от Kafka в группе потребителей. Мой потребительский объект назначается данному разделу с помощью
self.ps = TopicPartition(topic, partition )
и после этого потребитель присваивает этому разделу:...
11263 просмотров
schedule
06.11.2022
Ошибка автоматической фиксации смещения для группы my_group_id в объединенном кластере kafka
У меня есть кластер Confluent Kafka с 3 узлами, и я использую kafka-python для подключения к Kafka и использования.
мой index.py файл:
cid = "_" + str(randint(1, 99999999))
consumer = KafkaConsumer('test',...
1079 просмотров
schedule
24.08.2022
не могу читать \ писать из темы кафки
У меня Kafka работает в контейнере на моем рабочем столе. Я могу легко подключиться к нему с помощью инструмента под названием «Kafka tool», где, например, я могу просматривать свои темы.
У меня проблемы с чтением и записью в / из темы Kafka. что...
580 просмотров
schedule
12.02.2024
Субоптимальное разбиение в потребительской группе Kafka
Я столкнулся со своеобразной проблемой, работая с потребителями Kafka. Когда у меня есть тема с несколькими разделами и группой потребителей, потребление в конечном итоге становится несбалансированным, если количество потребителей меньше, чем...
119 просмотров
schedule
04.01.2024