Avviksrapport for UBW
Dato: 2025-01-15
Skrevet av: Are Garnåsjordet
Tilgang til samtlige UBW for Oslo met var nede og utilgjengelig hele 30/12 og mesteparten av 31/12. Dette gjaldt både webklient og tykk-klient.
Beskrivelse av avviket og feilrettingsprosess
UBW benytter et Windows filshare på ubw-fil-p01.ad.kiosk.educloud.no for fillagring, samt at script som brukes for å starte opp tykk-klient for brukere ligger her. Når Windows File Share (Server) tjenesten på ubw-fil-p01.ad.kiosk.educloud.no krasjet grunnet interferense med annen tjeneste (rclone S3) fikk hverken terminalservere eller webservere kontakt med fillageret.
- 30-12-2024 natt/morgen: Feil oppsto før normal arbeidstid, ble meldt kl 0800 av bruker på Oslo met (RT#6724614)
- 30-12-2024 kl 0900: Feilretting startet, driftsvakt fant ikke problemet.
- 31-12-2024 kl 0900: Saken ble skalert internt..
- 31-12-2024 kl 12:10: Årsak rettet ved reboot av ubw-fil-p01.edukiosk.no.
Konsekvenser
UBW for OsloMet var utilgjenglig både på web og tykkklient.
Hva skulle vi gjort for at situasjonen ikke oppsto?
Dette var en uheldig løsning, som burde vært designet anderledes. En s3-løsningen ble valgt fordi en integrasjon bare kunne levere data til ett datapunkt og vi trengte data både inne i Edukiosk og i Uhad. Dette er data som brukes både av Oslo met og andre UBW brukere. Vi antar at problemet oppstod når filsynk og UBW applikasjonen skrev eller leste til samme fil samtidig, noe som drepte SMB tjenesten.
Hva kunne USIT gjort bedre?
Mer robust løsning for opp- og nedlasting av filer til UBW. Ustabilitet i denne løsningen var den tekniske årsaken til avviket. Valg av en løsning (S3) som vi har lite erfaring med burde ikke blitt tatt.
Kunnskapen om behovet for SFTP for overføring av filer fra SIKT burde vært kjent tidligere, slik at vi hadde sluppet å bruke en midlertidig løsning for å gå i produksjon.
Bedret bemanning i julen. Alarmen kunne gått tidligere og feilretting startet tidligere.
Bedre dokumentasjon. Da dette var en løsning satt opp raskt og for midlertidig bruk, var det ikke god nok kjennskap om løsningen i organisasjonen når feilen oppstod.
Tiltak
Redesign av tjenesten, slik at vi ikke synkroniserer opp og nedlastning av filer til UBW via filmottak i UHAD men har eget filmottak i Edukiosk og UHAD.
Dette er pr 1/2-25 implementert og i produksjon.