Удалось получить logstash (1.3.1) для отправки данных в elasticsearch (0.9.5).
Моя настройка файла logstash conf
input {
file {
path => ["D:/apache-tomcat-7.0.5/logs/*.*"]
}
}
output {
stdout { }
elasticsearch_http {
host => "localhost"
port => 9200
}
}
Данные хранятся в ES под индексом logstash-2013.12.xx
Однако, если я перезапущу logstash, скажем, на следующий день - те же данные будут перезагружены в новый индекс. Даже если я перезапущусь снова, количество документов в индексе удвоится.
Похоже, что logstash перечитывает данные, а ES также дублирует документы.
Есть ли способ не перезагружать в logstash или не дублировать в ES или делать ОБА.
.sincedbдля отслеживания хода выполнения файла. Может быть, попробуй запустить-v, чтобы увидеть, что с этим не так. Есть ли у него разрешение на запись на пути sincedb? Вы можете попробовать указать путь sincedb вручную, чтобы иметь немного больше контроля над ним. - person rutter schedule 15.12.2013