3. Loki tietojen keräys

LogStash

Ensin tehdään ELK-Stack asennus blogissa asennetun LogStasiin oikeat asetukset kansioon /etc/logstash/conf.d/ RobWillis.info blogin LogStash ohjeiden mukaan.

beats-input.conf

input {
  beats {
    ports => 5044
  }
}

syslog-filter.conf

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?:   %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

elasticsearch-output.conf

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    sniffing => true
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

Kuva: Tree komennolla kansio conf.d

Aika tehtävässä LogStash 27.10.2019 kello 15.45 – 16.00

FileBeat monitorointi työkalu asennus

Ensin asennetaan FileBeat komennolla “sudo apt-get install filebeat” sitten vaihdoin Filebeatin tiedostoon mitä lokeja halutaan kerätä eli /var/log/auth.log tiedostoja. Eli menin kansioon /etc/filebeat/ ja tiedostoon filebeat.yml komennolla “sudoedit filebeat.yml” muokkasin kohdasta “enabled: false –> enabled: true”, kommentoin pois # merkillä paths kodan alta “- /var/log/*.log”, ettei kerätä kaikkia lokitietoja testiin ja lisäsin rivin paths: kohdan alle “- /var/log/auth.log”, jotta saadaan kerättyä auth.logit koneelta. filebeat.yml konfigurointi tiedosto muutokset kuvana alla.

Kuva: filebeat.yml tiedosto

Tiedoston muokkaamisen jälkeen laitetaan FileBeats käyntiin komennolla “sudo systemctl start filebeat” ja “sudo systemctl enable filebeat” saan filebeat:in uudelleen käynnistyksen jälkeen automaattisesti päälle.

Aika tehtävässä FileBeats monitorointi työkalun asennus 27.10.2019 kello 16.05 – 16.30

Lokien keräys Kibanaan

Ensin navigoidaan Kibana:n sivulle https://192.168.10.64/app/kibana, josta sivupalkista mennään osioon “Management”.

Managementissa valitaan kohdasta Index Pattern täältä saadaan valittua mistä loki tiedot tuodaan Kibana:aan. Kirjoitetaan hakuun filebat-* ja jatketaan seuraavaan kohtaan.

Laitetaan lokitiedot ajan mukaan järjestykseen ja luodaan Index Pattern.

Loki tiedot tulevat näkyviin, kun mennään sivu palkilla kohtaan Discover ja valitaan juuri tehty filebeat-*

Auth.log lokitiedot kerätään nyt LogStashin kautta Filebeatille, joka jakaa ne Kibanan graafiselle käyttöliittymälle. Kuvassa näkyvästä lokitiedosta voidaan todeta, että lokien keräys toimii nyt auth.login osalta paikallisesti.

Aika tehtävässä Lokien keräys Kibanaan 27.10.2019 kello 16.35 – 17.35

 

Lähteet:

LogStash/FileBeat asennus ja konfigurointi tiedostot: https://robwillis.info/2017/04/elk-5-on-ubuntu-pt-2-installing-and-configuring-elasticsearch-logstash-kibana-nginx/

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s