Avviksrapport for Tjeneste/System
Dato: 08-12-2025
Beskrivelse av avviket og feilrettingsprosess
Brukere av UBW Desktop i Edukiosk fikk ikke tilgang til tjenesten. Ved start av klienten fikk de feilmelding om at tilkobling til databasen timet ut.
Brukere av UBW gjennom web-løsningen var ikke berørt.
Feilrettingsprosessen:
- 08-12 08:20: En av institusjonene i UBW melder om problemer med tilkobling mot databasene for desktop-miljøet. Sikt melder om det samme 10 minutter senere etter melding fra flere institusjoner.
- 08-12 08:22: WAP ser saken i RT, informerer om at vi starter feilsøking.
- 08-12 08:26: Database-drift involveres og sjekker forhold på sin side.
- 08-12 ca. 09: En alarm i Dashboard for overvåkning av Edukiosk tyder på at en oracle connection server er nede.
- 08-12 09:15: Den aktuelle serveren sliter med reboot og man kommer ikke inn på den, virt-core involveres for nærmere undersøkelser.
- 08-12 ca 10:15: IPv6-adressen til den aktuelle serveren har blitt brukt til en lastbalanserer og det har dermed blitt en konflikt, webdrift kontaktes for å endre dette.
- 08-12 10:45: IP-konflikt ryddet opp i, oracle connection-server restartet og tjenestene der kjører som de skal. Brukere i UBW desktop-miljøet får koblet til databasen igjen.
- 08-12 10:50: Systemeier/brukere informert og driftsmelding settes til løst.
Konsekvenser
Brukere av UBW desktop (i stor grad superbrukerne) fikk ikke koblet seg opp mot databasen og jobbet som de skulle der. UBW webklient fungerte. Denne dekker det meste av funksjoner som den vanlige bruker av UBW trenger.
Hva skulle vi gjort for at situasjonen ikke oppsto?
Det er to punkter å se på når det kommer til hva man kunne gjort for at situasjonen ikke skulle oppstått.
- IPv6-adressen som ble benyttet ved oppsett av lastbalansereren skulle i større grad vært kontrollert og sjekket slik at man ikke fikk en konflikt på IPv6-adressen og dermed problemer med tilkobling mot oracle connection-serveren.
- Servere i Edukiosk-domenet er satt opp med failover mot en annen oracle connection-server for redundans på tjenesten. For andre tjenester i Edukiosk(UBW web, FS, Tableau og UiB Elements) fungerte dette og brukere var ikke berørt av nedetiden. På terminalserverne som UBW desktop kjører har leverandør kodet inn en connection string som kun går mot oracle connection-serveren som var nede og failoveren som vi har satt opp fungerte dermed ikke.
Det er dermed to separate konfigurasjoner som gjorde at UBW desktop gikk ned. Uten enten IP-konflikten eller feilkonfigurasjonen hadde vi ikke fått nedetid mot brukere av UBW desktop.
Hva kunne IT-avdelingen gjort bedre?
Gjennom høsten har det vært gjort et arbeid for å overvåke og avdekke avvik i Edukios-tjenestene, dashboardet i zabbix som dette har resultert i varslet om manglende forbindelse mot oracle connection-serveren. Så med tanke på overvåkning av tjenestene vi drifter har dette fungert som tiltenkt.
Det som vi kan se på og gjøre en vurdering på er om det bør komme et varsel før det har gått en time ved manglende rapportering fra Zabbix-agenten på serverne. Da hadde vi plukket det opp enda raskere og før brukere av tjenesten varslet om problemer.
Tiltak
WAP som ansvarlig seksjon hos IT-avdelingen kontakter Vivicta (tidligere TietoEvry) og ber de få endret connection-stringen i configen slik at den tar høyde for failover i slike tilfeller, da får vi redundans på tjenesten som tiltenkt.
Virt-core ser også på muligheten for varsling fra VMware hvis 2 VMer benytter samme IP-adresse, det vil føre til at IP-konflikter som denne vil bli oppdaget raskere.