Overvåking - The next generation - Sluttrapport

Introduksjon

Aktiviteten Overvåking - The next generation ble startet våren 2014 av Gruppe for IT driftstøtte (GID) ved USIT for å prøve å forbedre overvåking av de IT systemer som USIT har ansvar for.

Vi sendte informasjon om denne aktiviteten til alle driftsgrupper ved USIT, web-gruppen og VD og spurte dem hva de bruker for å overvåke de systemene de drifter, og hva som fungerer og ikke fungerer med dagens løsning.

Vi fikk gode tilbakemeldinger og endel ønsker for et nytt overvåkingssystem, oppsumert her:

• Muligheter for å definere avhengigheter for å unngå unødvendige alarmer og identifisere rotårsak til et problem.
• Muligheter til å vise tilpasset og filtrert informasjon.
• SLA håndtering og IT tjenester oversikt
• Ende til ende overvåking av en tjeneste.

I tillegg hadde vi disse kravene til et nytt system:

• Muligheter for distribuert overvåking og overvåking av lukkede miljøer via overvåkingsproxyer, e.g. TSD.
• Muligheter for automatisering av flest mulige aspekter av konfigurasjonen.
• Tilgangskontroll for delegering av konfigurasjon til driftsgruppene.

Vi brukte litt tid på å undersøke de forskjellige overvåkingsløsninger som finnes. Det finnes mange kandidater med store forskjeller når det gjelder kvalitet og funksjonalitet. Noen av de som ble sjekket er:

• Pandora FMS
• SCOM
• Icinga
• Nagios
• Shinken
• Ganglia
• Sensu
• Zabbix
• Zenoss core
• PRTG

De tre kandidatene som vi bestemte oss å jobbe videre med og som har blitt testet er:

• Sensu
• Icinga
• Zabbix

Vi har laget rapporter for disse produktene med detaljert informasjon om funn gjort under testing og de er tilgjengelige her:

Under testing har vi funnet ut at Sensu ikke kan levere all funksjonalitet som var et absolutt krav, e.g. tilgangskontroll og overvåkingsproxy for TSD. Derfor konsentrerte vi oss om Icinga og Zabbix i resten av prosessen.

Vi har kommet til den konklusjonen at både Icinga og Zabbix kan levere en mye bedre overvåkingsløsning enn den vi har per i dag. Det finnes uansett noen punkter som er ganske viktige og vi har konsentret oss om dem.

Det finnes noen punkter hvor man kan få samme resultat selv om disse to produkter implementerer og leverer de på forskjellige måter. På andre punkter er en av produktene klart bedre enn den andre. Vi skal prøve å oppsumere de punktene som har blitt avgjørende i valg mellom de to kandidatene.

Konfigurasjon

Tilganskontroll

Triggere / alarmer

Ende til ende overvåking

Sikkerhet

Kostnadsoversikt

Det er en del aktiviteter som må utføres for at Zabbix eller Icinga skal kunne brukes i produksjon. Disse aktivitetene har en kostnad:

• Finne ut hvordan man skal organisere overvåkingsdata i hostsgrupper, brukergrupper og tjenestegrupper. Hvem skal ha RW/RO tilgang til hva? (1 uke).

• Integrasjon med Cerebrum for å synkronisere brukergruppe informasjon mellom Cerebrum og overvåkingssystemet.

  Vi kan bruke API-et i Cerebrum for å hente informasjon om gruppemedlemskap.

  Med Zabbix må vi bruke Zabbix API-et for å oppdatere gruppe informasjon i databasen (1 uke)

  Med Icinga må vi aksesere databasen direkte for å oppdatere gruppe informasjon direkte i tabellene som innholder denne informasjonen (1 uke). Tilgang til filsystemet burde bli oppdatert automatisk via filgrupper da denne informasjonen hentes allerede fra Cerebrum.

• Integrasjon mellom Nivlheim og overvåkingssystem. Nivlheim skal være autoritativ kilde for registrering/sletting av maskiner som overvåkes.

  Vi kan bruke API-et i Nivlheim for å hente informasjon om maskiner som skal overvåkes.

  Med Zabbix må vi bruke Zabbix API-et for å oppdatere denne informasjonen (1 uke).

  Med Icinga må vi generere konfigurasjonsfiler på filnivå (1 uke).

• Automatisering av sjekker og alarmer på de maskiner som er registrert i overvåkingssystemet.

  Med Zabbix kan man definere et default sett med sjekker basert på OS som maskinen kjører. For overvåking av tjenester som kjøres på maskinen kan man bruke auto-discovery funksjonalitet for å aktivere de malene som kan brukes per tjeneste (2 uker).

  Med Icinga kan man definere et default sett med sjekker basert på OS som maskinen kjører og cfengine roller (2 uker).

  Registrering av nettverksutstyr, printere, osv kan også automatiseres men man må diskutere hvordan dette burde håndteres.

• Varslingskonfigurasjon, tidsperioder, sms-gateway integrasjon, osv. (1 uke)

• Integrasjon med andre systemer (Scom, Nav, vCops, osv). Denne jobben må tas fortløpende og i samarbeid med de gruppene som bruker disse systemer.

Konklusjon

Vi anbefaler "Zabbix" som overvåkingsløsning ved UiO.

De punktene som til slutt har vært avgjørende blant de som har blitt nevnt er:

• Triggere / alarmer: Vi har vektet muligheter til å kunne definere avanserte triggere som kan bruke aggregeringsdata, data fra forskjellige kilder eller sammenligne data for en tidsperiode for å levere svært nøyaktige alarmer.
• API: Vi har vektet om det finnes et API som kan brukes for å konfigurere og aksesere løsningen fordi dette forenkler interaksjonen med overvåkingssystemet. Det gir gode muligheter for integrasjon med andre systemer og utvikling av tredje part løsninger.
• Tilgangskontroll: Vi har vektet at produktet bruker en sentralisert autoritativ kilde for håndtering av tilgangskontroll data for konfigurasjon og tilgang.
• Nagios plugins: Overvåkingsløsningen måtte ha støtte for nagios plugins eller være i stand til å ta de i bruk uten store modifikasjoner hvis de absolutt måtte brukes videre.