5. Lokien keräys etätietokoneilta

Aloitin avaamalla portin 5044 ELK-Stack palvelimelta komenoilla “sudo ufw allow 5044/tcp” ja “sudo systemctl restart ufw“, jotta portin 5044 takana olevalle LogStashille voidaan lähettää tietoa.

Debianilta loki tietoja

Aloitimme oman ELK-Stack asennus blogin mukaan asentamaan Debianille FileBeat:in, jotta saamme tiedot lähetettyä lokeja keräävälle ELK- Palvelimelle.

System module toiminnolla saame FileBeatin keräämään syslog ja auth.logeista lokeja komennolla “sudo filebeat modules enable system“.

Seuraavaksi vaihdoin Debianiin FileBeatin tiedostoihin, minne loki tietoja lähetetään. Vaihdoin alla olevien kuvien mukaiset rivit.

Ensin vaihdetaan tiedostoon Filebeat inputs kohdan alta enabled: false –> enabled: true.

Sitten otetaan Elasticsearch outputin alta pois kaikki kommentoimalla ja otetaan Logstash outputin alta käyttöön ELK-Palvelimen IP ja portti, johon datat lähetetään.

Aika tehtävässä Debianilta loki tietoja 27.10.2019 kello 19.05 – 20.00

 

ELK-Palvelin configurointi

Vaihdoimme /etc/logstash/conf.d kansiotsta kaikki .conf tiedostot yhdeksi minsuk-heo/BigDatan Github sivun mukaiseksi yhdeksi tiedostoksi, johon voimme lisätä toisia sisäverkosta tulevia palvelimien tietoja. Logstash.conf tiedoston sisällöksi tuli tämä:

joni@ELK-Palvelin:/etc/logstash/conf.d$ cat logstash.conf
input {
  beats {
    port => "5044"
  }
}

output {
        if [beat][hostname] == "ip-192-168-10-35" {
                elasticsearch {
                        hosts => "localhost:9200"
                        sniffing => true
                        manage_template => false
                        index => "filebeat-%{+YYYY.MM.dd}"
                        document_type => "%{[@metadata][type]}"
                }
        }
        else {
                elasticsearch {
                        hosts => "localhost:9200"
                        sniffing => true
                        manage_template => false
                        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
                        document_type => "%{[@metadata][type]}"
                }
        }
}

Uudelleen käynnistimme Logstashin, Kibanan, ElasticSearchin ja FileBeatin. Tämä hoitui komennoilla “sudo systemctl restart logstash“, ” sudo systemctl restart kibana“, ” sudo systemctl restart elasticsearch” ja ” sudo systemctl restart filebeat“.

Viimeisenä vielä uudelleen käynnistimme Debianin puolelta, josta lokeja kerätään FileBeat komennolla ” sudo systemctl restart filebeat “.

ELK-lokien keräys palvelimella alkoi tulla lokeja Debian:lta eli toimii.

Aika tehtävässä ELK-Palvelin configurointi 27.10.2019 kello 20.05 – 21.00

 

Lähteet:

Logstash.conf tiedosto malli: https://github.com/minsuk-heo/BigData/blob/master/ch06/logstash.conf

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s