Hadoop: инструменты для визуализации ключевых данных и файлов для разработки.

Существуют ли какие-либо простые, легко запускаемые Java-инструменты для визуализации данных типа "ключ-значение" из каталогов заданий с уменьшением карты?

В частности, я хочу просмотреть карту с 20 заданиями, сократить рабочий процесс, щелкнуть отдельные файлы и просмотреть данные и, возможно, даже увидеть гистограмму размеров файлов.

  • Здесь есть некоторые оговорки, например -

    • Some files have serialized data (not just text)
    • Очевидно, что эту систему, вероятно, было бы глупо использовать в «облачном масштабе», скорее это инструмент разработчика.

Тем не менее, такой инструмент был бы полезен при разработке и локальной отладке больших подключенных конвейеров m/r.

Это для целей разработки (я не пытаюсь визуализировать данные распределенного ключа/значения в реальном кластере).


person jayunit100    schedule 07.01.2012    source источник


Ответы (1)


Ознакомьтесь с KarmaSphere Studio.

Отслеживание выполнения задания шаг за шагом
 – Рабочий процесс с результатами. Показывает результирующие выходные данные на каждом этапе задания MapReduce.
 – Журналы Hadoop с рабочего стола: удобный доступ к журналам Hadoop с рабочего стола.
 – Параметры сбоя задания: позволяет указать параметры сбоя задания, такие как автоматический вызов указанного сценария при сбое задания для EMR.

person Praveen Sripati    schedule 08.01.2012
comment
Спасибо - похоже на тяжеловесную утилиту... Любые подробности о том, как я могу использовать кармическую сферу для решения своих конкретных проблем? - person jayunit100; 08.01.2012
comment
извините, но я понял, что кармасфера не делает того, что мне нужно, хотя вроде бы. Он способен отслеживать и просматривать данные задания только тогда, когда вы выполняете задание в k-сфере. - person jayunit100; 11.01.2012
comment
Мне нужен более модульный инструмент без сохранения состояния, я думаю, что kaashpere является ограничительным. Мне нужен легкий файл jar, который является модульным и расширяемым - у меня есть бережливые данные, которые сериализованы в двоичном виде и т. Д.... Похоже, что парадигма ливней кармы лучше для запуска новой базы кода, чем для отладки существующей. - person jayunit100; 13.01.2012