Публикации по теме 'apache-nifi'
Извлечение данных из базы данных и моделирование в JSON с помощью APACHE NiFi
Извлечение данных Apache NiFi и преобразование в JSON
Apache NiFi - это высоконадежная и мощная система с открытым исходным кодом для обработки, преобразования и распространения данных. Он предоставляет веб-интерфейс для непрерывного проектирования, контроля и мониторинга данных.
В этой истории мы увидим, как мы можем подключиться, извлечь запись таблицы MySQL DB и преобразовать ее в JSON.
Предварительное условие:
MySQL
Apache NiFi: скачать по данной ссылке..
Вопросы по теме 'apache-nifi'
Передача данных через процессоры NiFi
У меня есть ситуация, когда пользовательские процессоры участвуют на разных этапах конвейера ETL:
Processor_1 -> Processor_2 -> Processor_3
В некоторых случаях Processor_3 должен ссылаться на исходные данные, введенные в Processor_1. В...
1179 просмотров
schedule
20.04.2024
Ошибка HandleHttpRequest с SERVICE_UNAVAILABLE, когда скорость потока данных превышает скорость записи происхождения
У меня есть пакетный тест с использованием jMeter, который отправляет несколько HTTP-запросов (GET) на процессор NIFI с помощью HandleHttpRequest и отправляет в Topic Kafka.
Проблема в том, что StandardHTTPContextMap возвращает ошибку...
659 просмотров
schedule
09.06.2024
Жизненный цикл разработки Apache NiFi
Я понимаю, что с NiFi, как это определено в их документе, «непрерывное совершенствование происходит в производстве» . Так что это не подходит для использования в качестве традиционного инструмента разработки. Однако для проекта, над которым я...
1911 просмотров
schedule
10.10.2022
Можно ли увеличить скорость процессоров в NiFi?
Мне нужны пояснения по процессорам NiFi.
Поскольку у каждого процессора есть параллельные задачи, если я установил параллельные задачи для процессоров, это увеличивает скорость обработки процессоров, но это влияет на производительность системы,...
971 просмотров
schedule
20.02.2024
apache nifi + получить последний файл hdfs с помощью listhdfs
Я пытаюсь получить конкретный файл (последний файл) из каталога hdfs, используя listHDFS и fetchHDFS, имена файлов следующие: DATAFILE.D170412, где D представляет дату
Я пытаюсь получить возможность получить только самый новый файл и получить его...
1267 просмотров
schedule
03.10.2023
Evaluatejsonpath возвращает полный массив
У меня есть файл json с вложенной структурой. Сначала я использую splitjson, а затем оцениваю обработчик jsonpath для выбора интересующего меня элемента. Прекрасно работает с одним элементом, который должен быть возвращен, но когда я добавляю...
3885 просмотров
schedule
14.02.2024
Нужна помощь по извлечению атрибутов JSON из файла потока в Apache NiFi
Я пытаюсь получить значения атрибутов из файла JSON с помощью обработчика EvaluvateJsonPath в NiFi.
Ниже приведен пример файла JSON.
{"widget": {
"debug": "on",
"window": {
"title": "Sample Konfabulator Widget",
"name":...
3319 просмотров
schedule
25.08.2022
Как переименовать службу контроллера NiFi?
В Nifi при определении нескольких служб контроллеров одного типа это становится неуклюжим. Также, как было проверено в разделе " Редактировать " в Службе контроллера , я не вижу такой опции. Как переименовать службу контроллера?
97 просмотров
schedule
26.12.2023
Процессор NiFi ExecuteSQL Charset Exceprion
Я настраиваю рабочий процесс в Nifi, который читает из DB2 ExecuteSQL процессором и куда-то записывает. Когда я запускаю некоторые команды SQL, содержащие varchar со специальными символами, я сталкиваюсь со следующей ошибкой в процессоре...
297 просмотров
schedule
11.04.2024
Нифи :Нан вместо значения атрибута
есть несколько тем, которые меня интересуют:
Какой тип атрибута nifi? я использую атрибут count в моем процессоре executeScript с выражением, как будто он не определен нигде, кроме процессора executeScript (это:...
155 просмотров
schedule
18.07.2022
Apache Nifi — RouteOnAttribute, выражение не найдено
У меня есть процессор ExtractText, в который я добавил 3 выражения: баланс, карта и имя. Чтобы извлечь эти значения, я использую регулярные выражения. Итак, для имени у меня есть проанализированная часть входящего потока, которая выглядит так:...
1645 просмотров
schedule
15.08.2022
Как отфильтровать имя файла в Nifi
Я хочу принять данные из вложения электронной почты на свой путь HDFS, для которого я использую процессор Nifi. В приложении есть несколько файлов, я хочу конкретный. Как его фильтровать в нифи?
2315 просмотров
schedule
01.03.2024
Как направить поток в nifi на основе его заголовка URL?
Как направить поток на основе URL-адреса (если он имеет путь к файлу на один процессор и если он содержит имя пользователя и пароль, он направляет на другой процессор). Укажите поток процессора, который будет использоваться. Спасибо.
1249 просмотров
schedule
19.03.2024
Ambari автоматически перенаправляется на NiFi
Я установил NiFi в свой Hortonworks, и всякий раз, когда я начинаю сеанс в Ambari, я перенаправляюсь на NiFi. Кто-нибудь знает, как его изменить, чтобы мой localhost: 8080 автоматически не перенаправлялся на NiFi? Я прикрепил изображение ниже....
94 просмотров
schedule
29.07.2022
Остановите группу процессоров NiFi, как только выполнение будет завершено
Я запускаю и останавливаю группу процессоров, содержащую поток пользовательских процессоров, через API.
Как я могу заставить группу процессоров запускаться только один раз и просто останавливаться?
Мы можем использовать cron, чтобы запустить его...
1386 просмотров
schedule
16.06.2024
Идеальный способ отладки сложного потока данных NiFi
Из того, что я понял после использования NiFi для создания некоторых PoC приема БД, весь поток данных работает как поток файлов потока. И в любой конкретный момент времени управление выполнением может находиться на одном или нескольких процессорах...
1965 просмотров
schedule
17.01.2024
Nifi PutHive3Streaming — запись в разделенные таблицы
Я использую Nifi 1.7.1 для записи в секционированную таблицу кустов. Хотя поток данных успешно передан, я вижу несколько сообщений в журнале хранилища метаданных куста:
2018-10-29T17:09:40,682 ERROR [pool-10-thread-198]:...
249 просмотров
schedule
12.11.2022
Как запросить MongoDB в Apache NiFi на основе динамического значения?
Я пытаюсь запустить процессор GetMongo в Apache NiFi. Я могу заставить базовый запрос работать нормально и выводить записи на свой жесткий диск (только для первоначального тестирования. В конечном итоге перейдет к клиенту Hadoop)
Моя проблема в...
1123 просмотров
schedule
05.11.2023
Режим кластера реестра схемы Hortonworks
Я использую реестр схем Hortonworks с NIFI, и все работает нормально. Я установил реестр схем Hortonworks на одном узле, и я боюсь, что если этот компьютер выйдет из строя, что произойдет с моими потоками NIFI. Я видел в архитектуре реестра...
183 просмотров
schedule
30.01.2024
NiFi PutFile установить имя файла не работает
Получите данные JSON через брокера Kafka.
Данные имеют следующий формат, а данные изображения закодированы в Base64. например) {"filename":"test.jpg","filedata":"/9j/4AAQSkZJRgABAQEAYABgA....."}
Я хочу сохранить данные изображения, полученные...
3357 просмотров
schedule
06.09.2022
