Вопросы по теме 'apache-storm'
Как восстановить состояние болта во время отработки отказа
Я пытаюсь выяснить, как восстановить состояние инстанса штормового болта во время отработки отказа. Я могу сохранить состояние извне (БД или файловая система), однако после перезапуска экземпляра болта мне нужно указать конкретное состояние этого...
1622 просмотров
schedule
12.05.2024
Кафка в режиме супервизора
Я пытаюсь запустить kafka в режиме наблюдения, чтобы он мог запускаться автоматически в случае отключения. Но все примеры запуска kafka используют сценарии оболочки, и supervisord не может отметить, какой PID отслеживать. Может ли кто-нибудь...
1880 просмотров
schedule
18.03.2024
Ошибка Invalid Topology Exception при отправке топологии
Работая над своей первой топологией Storm, основанной на чтении файла Apache и его обработке, я получаю странную ошибку при отправке топологии:
6044 [main] WARN backtype.storm.daemon.nimbus - Topology submission exception. (topology...
9355 просмотров
schedule
04.05.2024
не удалось прочитать входной файл в штормовом носике
У меня есть Storm Spout, который будет читать из файла журнала. Поэтому, когда я тестирую код локально, он работает хорошо, потому что я передаю аргументы времени выполнения во время выполнения задания.
Но когда я развертываю код в кластере, он...
2651 просмотров
schedule
28.09.2022
Интеграция Storm Cassandra
Я новичок в Storm и Cassandra. Я хочу использовать Bolt для записи строк, испускаемых Spout, в семействе столбцов в Cassandra. Я прочитал пример здесь , который кажется мне немного сложным, так как он использует разные классы для запись в БД...
1542 просмотров
schedule
11.02.2024
Apache Storm Watchdog — супервизор блокирует Ambari?i
В настоящее время я играю с новым предварительным просмотром HDP 2.2 от Hortonworks и вижу странное поведение со штормом. В ряде руководств предлагается установить супервизор в качестве сторожевого процесса, поскольку storm — это быстродействующее...
414 просмотров
schedule
17.02.2024
Как написать топологию трезубца без агрегаций?
Я хотел бы обрабатывать кортежи партиями, для которых я думаю об использовании Trident API. Однако здесь нет операций, которые я выполняю в пакетном режиме . Каждый кортеж обрабатывается индивидуально. Все, что мне здесь нужно, — это семантика...
111 просмотров
schedule
12.11.2022
Апачский штормовой болт
class MyBolt(storm.BasicBolt):
def process(self, tup):
data = tup.values[0].split(',')
Я новичок в Apache Storm и вижу указанную выше программу, но не совсем понимаю. Интересно, что data=tup.values[0] делать. Спасибо за помощь!
117 просмотров
schedule
29.07.2022
Storm Tick Tuple из носика
Я хочу настроить свой носик так, чтобы он испускал тиковые кортежи на двух разных частотах в разных потоках. Мои вопросы заключаются в следующем:
Я понимаю, как это делается с помощью болта. Но будет ли кортеж тиков вызывать следующий метод...
3537 просмотров
schedule
20.04.2024
Как Storm управляет совместным использованием данных в кластерном режиме?
недавно я разрабатываю некоторые инструменты синхронизации для топологии шторма, но у меня все еще есть несколько вопросов об обмене данными в кластере шторма:
Если компонент (носик/болт) сконфигурирован с более чем одним исполнителем на одного...
1124 просмотров
schedule
24.09.2022
Storm [ОШИБКА] Асинхронный цикл прервался
Я использую шторм 0.9.3. Я использую топологию на python, в которой носители считывают URL-адрес из очереди Kafka, а затем передают его следующему болту, который извлекает эту страницу с помощью модуля запросов python.
Вот мое определение...
3925 просмотров
schedule
19.10.2022
Настройка streamparse в удаленном кластере Storm
Немного запутался в настройке удаленного кластера в streamparse. Streamparse отлично работает в localhost. Но не знаю, как настроить кластер, мой config.json:
{
"library": "",
"topology_specs": "topologies/",
"virtualenv_specs":...
571 просмотров
schedule
24.07.2022
Рекомендации по интеграции Kafka и HBase
каковы наилучшие методы «импорта» потоковых данных из Kafka в HBase?
Вариант использования следующий: данные датчика транспортного средства передаются в Kafka. После этого данные датчиков должны быть преобразованы (т. е. десериализованы из...
3923 просмотров
schedule
05.10.2023
java.lang.NoClassDefFoundError
Вот что я получил при компиляции проекта
по этой команде
mvn compile exec:java -Dexec.classPathScope=compile -Dexec.mainClass=trident.myproject
получил это
java.lang.NoClassDefFoundError: storm/trident/state/StateFactory
at...
7182 просмотров
schedule
28.07.2022
Топология Storm Raspberry Pi
У меня есть группа малин, в которой одна из них — Pi2, а остальные — Pi (Pi2 использует ARMv7, а другая — ARMv6). На Pi2 я запускаю zookeeper, nimbus, ui (шторм 0.10.0), а на остальных запускаю супервизоров (по 1 воркеру на устройство).
Когда я...
632 просмотров
schedule
18.08.2022
Apache Storm: размер очереди прерывателя доступа
Я хотел знать, как получить доступ к размеру очереди входящей очереди любого исполнителя. Я сослался на этот вопрос: Как контролировать размер ожидающих очередей Bolt? Но он предоставляет механизм для регистрации этой информации. Однако мне нужно...
488 просмотров
schedule
31.08.2022
Невозможно отправить топологию в apache storm с помощью kafka-storm
Я получаю сообщение об ошибке при отправке моей топологии в Apache Storm (версия 0.10.0.2.4.0.0-169), который использует канал Kafka из storm-kafka. Я использую последнюю версию storm-kafka с github и использую kafka 0.9.0.2.4.
Я могу запустить...
664 просмотров
schedule
16.10.2022
Ошибка с зоопарком и штормом
Я разрабатываю код для Storm, который является примером для разработчиков. Моя проблема в том, что при запуске этого кода из IDE Eclipse не получается установить соединение между Storm и Zookeeper. Zookeeper работает в 2181 и также установлен в...
1386 просмотров
schedule
30.01.2024
Можете ли вы динамически добавлять/удалять KafkaSpouts в топологию Apache Storm
У меня есть топология Apache Storm, которая принимает сообщения из нескольких тем Kafka.
В настоящее время «несколько» соответствует «два».
Поскольку в настоящее время у меня есть только два KafkaSpouts для прослушивания, я жестко закодировал...
170 просмотров
schedule
07.12.2023
Storm ui Ошибка: org.apache.storm.utils.NimbusLeaderNotFoundException: не удалось найти лидера nimbus из исходных хостов [localhost]
Я пытаюсь настроить apache storm на 64-битной машине m windows 7. Мои конфигурации следующие:
зоопарк.cfg
tickTime=2000
initLimit=5
syncLimit=2
dataDir=C:/Server-Local/zookeeper-3.4.9/data
clientPort=2181
storm.yaml...
1423 просмотров
schedule
20.08.2022
