Обычное ведение журнала в Talend

Пытался реализовать логирование в Таленд. Итак, я сделал работу, используя обычные компоненты, я записал ошибку, информацию и отладку через Twarn и Tdie. Используя Logcatcher, я разделяю журнал на два файла отладки и ошибки. Эта часть работает нормально.

Теперь я сделал две работы,

Во-первых: - Используя генерирующие линии trowgenerator, затем отправляя в tmap и из tmap, я отправляю два компонента twarn в зависимости от некоторого условия.

Во-вторых: - Задание, в котором есть tlogcatcher, t_filterrow и разделение на два файла в зависимости от некоторого условия.

Итак, я выполняю вторую работу параллельно с первой по записи журналов, но она не работает.

Я пробовал несколько вариантов и остановился на этом.

Основная идея состоит в том, чтобы иметь общий компонент ведения журнала, который можно подключить к любому заданию для журналов.

Есть ли способы, которыми этого можно достичь?


talend talend-mdm
person Deepan Ram    schedule 26.01.2017    source источник
comment
Можете ли вы попытаться сохранить tlogcatcher и логику для разделения журнала в файлы в одном задании, а затем вы включаете это задание (с помощью tRunJob) во вторую работу и запускаете только второе задание ..   -  person garpitmzn    schedule 26.01.2017
comment
Пробовали этот вариант, но не работает. Пройдя через документацию tRunjob, говорится, что одно вспомогательное задание запускается после завершения другого вспомогательного задания. Пробуем разные варианты.   -  person Deepan Ram    schedule 27.01.2017

Ответы (3)


arrow_upward
1
arrow_downward

Вот 3 возможных способа:

log4j: версия Enterprise имеет встроенный log4j, что означает, что вы можете установить уровень отладки в tWarn / tDie и настроить log4j для помещения их в разные файлы. (При его использовании я обнаружил, что лучше всего иметь предупреждения в виде собственного журнала уровня информации, поскольку уровень информации о талантах слишком глубок.) Я уверен, что log4j также можно «взломать» в открытой студии. Это решит вашу проблему. https://exchange.talend.com дает много результатов при поиске log4j, вам следует взглянуть.

joblet: Если вы предпочитаете свой нынешний путь, я вижу для вас 2 варианта. Во-первых, попытаться создать вакансию, однако использование одного и того же файла из нескольких заданий не является хорошей идеей и, вероятно, приведет к ошибкам. Это нехорошее решение, но могло бы сработать, если бы мы говорили только об 1 задании, которое должно создать 2 файла.

Ведение журнала на уровне проекта. Вы можете попробовать включить ведение журнала на уровне проекта, но при этом все будет записано в файлы. Это в основном означает перенаправление вывода logcatcher в файл. Это 1 файл, а не 2, но, по крайней мере, он работает. https://help.talend.com/display/TalendOpenStudioforBigDataUserGuide520EN/2.6+Customizing+project+settings (статистика и журналы)

На самом деле нет хорошего решения для того, что вам нужно.

person Balazs Gunics    schedule 26.01.2017
comment
Я изучаю вариант Talend Open Studio для log4j, но хотел бы прояснить один момент. У меня есть несколько заданий в моем проекте, когда я запускаю кого-либо, я хочу сгенерировать 2 файла на основе информации или ошибки. - person Deepan Ram; 27.01.2017
comment
с log4j вы можете перенаправлять журналы по их уровням в разные приложения (1 для информации, 1 для ошибки 1 для всех и т. д.) - person Balazs Gunics; 28.01.2017

arrow_upward
1
arrow_downward

В Talend есть встроенное ведение журнала, и его очень легко настроить. Шаг 1: создайте базу данных AMC. Шаг 2. Установите свойства уровня проекта для ведения журнала. Шаг 3. Проверьте базу данных AMC на наличие журналов. Все ошибки и предупреждения будут регистрироваться. Необязательный шаг 4: создайте отчеты на основе данных журнала в базе данных AMC.

Вы можете регистрироваться в файле вместо базы данных, но запись в базу данных позволяет выполнять более надежные запросы и отчеты. Также, если вы запускаете задания из TAC, вы можете присоединиться к AMC к базе данных TAC для получения действительно полезных отчетов о ваших заданиях.

Вы можете войти:

  • Ошибки и предупреждения
  • Статистика (продолжительность работы)
  • FlowMeter (метрики потока данных)

На экране 1 показана настройка проекта в Talend Studio.

введите здесь описание изображения

На экране 2 показан запрос из базы данных AMC, таблица журнала. обратите внимание, есть еще две таблицы: одна для статистики, а другая для потока. также обратите внимание, что в выбранной строке есть сообщение от tWarn.

введите здесь описание изображения

person E LaRoche    schedule 26.01.2017
comment
Спасибо за объяснение. Я использовал этот раздел, но я хотел бы создать компонент журнала для Talend, который можно было бы использовать в любом задании, который создает разные уровни файлов журнала для отдельных заданий, а не для всего проекта. - person Deepan Ram; 27.01.2017
comment
почему бы не записывать все в журнал, как в моем примере выше, а затем извлекать необходимую информацию из отчета, который может быть разбит на вакансии? Это может быть проще, чем то, что вы предлагаете, и дополнительная информация может оказаться вам полезной. Вы тоже пользуетесь TAC? если это так, вы можете создавать отличные отчеты, объединив две базы данных. - person E LaRoche; 27.01.2017
comment
Потому что, если вы хотите развернуть это на 100 машинах за брандмауэрами, logDB не подходит. Я не думаю, что у него есть TAC, потому что тогда log4j будет там, из коробки. - person Balazs Gunics; 28.01.2017

arrow_upward
0
arrow_downward

Спасибо всем за расширенную поддержку. Я смог добиться того, чего пытался достичь.

Я создал стандартную работу, которая дает журналы twarn и tdie. Затем у меня есть работа, которая собирает журналы и распределяет журналы на основе ошибок или информации / отладки.

person Deepan Ram    schedule 27.01.2017
comment
Я новичок в Talend и искал для него ту же структуру ошибок работы. Ищу работу, которую можно использовать для любой работы, когда мы хотим получить подробные журналы лоббирования и которые могут быть легко прочитаны группами поддержки prod и т. Д. Что-то, что есть на этапе данных. Я попробовал конфигурацию AMC, но у нас есть разные таблицы дБ для Ссылаясь на то, что вам удалось этого достичь, хотелось бы знать, как этого можно достичь, и рекомендации по разработке вакансий будут очень признательны. - person Constant Learner; 22.03.2020