У меня есть базовая настройка Logstash -> Elasticsearch, и оказывается, что поле 'message' не требуется после того, как фильтр logstash выполнил свою работу - сохранение этого необработанного поля сообщения в elasticsearch только добавляет ненужные данные в хранилище imo.
Могу ли я безопасно удалить это поле, и не вызовет ли это каких-либо проблем для ES? советы или чтения приветствуются, всем спасибо.
Нет, никаких проблем ES это не доставит. Вы можете удалить поле message, если оно избыточное или неиспользуемое.
Вы можете добавить этот фильтр в конец фильтров.
mutate
{
remove_field => [ "message" ]
}
Вы также можете сделать это в фильтре json.
filter {
json {
source => "message"
remove_field => ["message"]
}
}
Я бы добавил следующее в качестве комментария к ответу Бена Лима, но я не знаю, как добавить блок кода в комментарий, и даже возможно ли это ...
Если вы можете использовать комбинацию ввода и кодека, которая не создает поле message, вам не нужно его удалять.
Например, следующая комбинация ввода и кодека (строки JSON через TCP) не создает поле message:
input {
tcp {
port => 5044
codec => json_lines
}
}
output {
elasticsearch {
hosts => ["localhost"]
document_type => "mytype"
index => "myindex"
}
}
