Доставка syslog в elastic

Доставка syslog в elastic

Простой пример, как можно доставлять syslog с linux машин в elasticsearch.

Для сбора логов на целевой машине я буду использовать вектор. У меня ubuntu 22.04, установить vector можно так:

bash -c "$(curl -L https://setup.vector.dev)"

sudo apt-get install vector

Далее приведем его конфигурационный файл /etc/vector/vector.yaml к следующему виду:

sources:

syslog:

type: file

include:

- /var/log/syslog

ignore_older: 86400

sinks:

logstash:

inputs:

- syslog

type: socket

address: "<logstash_ip>:<logstash_port>"

mode: tcp

encoding:

codec: text

И запустим vector:

sudo systemctl enable vector

sudo systemctl start vector

Затем на машине с logstash создадим конфиг /etc/logstash/conf.d/syslog.conf:

input {

tcp {

port => 5044

codec => plain {

charset => "UTF-8"

}

}

}

filter {

grok {

match => { "message" => "%{SYSLOGLINE}" }

}

date {

match => [ "timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]

timezone => "UTC"

}

}

output {

elasticsearch {

hosts => ["https://<elastic_ip>:9200"]

user => "<elastic_user>"

password => "<elastic_password>"

index => "syslog-%{+YYYY.MM.dd}"

ssl => true

ssl_certificate_verification => false

}

}

Перезапускаем logstash:

sudo systemctl restart logstash

Уже после этого мы должны увидеть новый индекс в кибане, далее нужно создать data view и можно просматривать документы.

#elk