20250911 - 20250912 Problemer med å logge på Edukiosk

Avviksrapport for UBW

Dato: 2025-09-17
Skrevet av: Øyvin Wormnæs

Denne avviksrapporten omhandler driftsavvik uke 37 og 38 i 2025. Vi har registrert følgende avvik:

10.09.25

Feil i påloggingstjeneste dette grunnet utløpt sertifikat. Dette rammet brukere som prøvde å logge på, inntil feil var løst. 

Antall brukere registrert hver time:

11.09-12.09.25

Omlegging av UAG (Vmware frontend server) for Edukiosk for å slå på IPv6-støtte førte til innloggingsproblemer. Årsak var mismatch mellom gyldige sertifikater på ny og gammel UAG server.  

Antall brukere registrert pr time fredag 12, og fredag 5 til sammenligning:

17.09.25

Keycloak som er kjernekomponent i påloggingstjenesten, ble ved en feil patchet 07:45 og var derfor nede til 08:11, grunnet kritisk sikkerhetshull i Keycloak. All pålogging feilet i perioden.

Beskrivelse av feilrettingsprosess

For feil 10.09.25

• Feil oppsto: 00:00
• Feil meldt: 06:32 
• Løst: 08:53

Ved midnatt gikk sertifikatet til ad.kiosk.educloud.no ut på dato. Dermed fikk ikke KeyCloak (påloggingsløsningen) slått opp brukere i LDAP/Active Directory. Kl. 08:53 var nytt sertifikat på plass og brukerne fikk logget på igjen.

For feil 11.09.25

Pålogging til Edukiosk autentiserer mot en UAG (Unified Access Gateway). Det er to UAG-er, en aktiv, og en passiv for redundans.

Torsdag ca kl 17:00 byttet vi UAG-server for å få støtte for ipv6. Vi testet dette lokalt og pålogging fungerte uten problemer. 

• 07:10 - Første melding fra Sikt (UBW) om problemer med innlogging på Edukiosk
• 07:41 - Feilsøking pågår
• 08:29 - Vi hadde ikke funnet feilen, og gjorde derfor en rollback
• 08:35 - Vi fikk tilbakemelding fra Sikt om at brukerne nå kommer inn. Før rollback var det ca 200 inne, etter rollback steg dette raskt, etter hvert til ca 1100 inne. Vi antok derfor til å begynne med at problemet var løst.
• 08:51 - Følger opp USN FS-brukere som opplever problemer med Omnissa-klienten, mens web fungerer. Starter feilsøking av dette.
• 09:03 - Meldes fra Sikt at noen institusjoner fortsatt har innloggingsproblemer
• 12:32 - Vi ser at sertifikatet til kiosk.educloud.no ser ut til å ha falt ut, dette rettes opp.
• 12:50 - Meldes fortsatt om problemer for enkelte.
• 13:50 - Brukere forsøker alternativ innlogging via kiosk-test.educloud.no, det fungerer.
• 14:03 - Informerer Sikt, som ber UBW-brukere om å benytte alternativ innlogging hvis de har problemer.

For feil 17.09.25

• 07:45 Pålogging utilgjengelig
• 08:11 Pålogging gjenopprettet

Beskrivelse av avvikene

Onsdag 10.09.25

Feilen skjedde fordi automatikken som skal gi oss beskjed 30 dager før et sertifikat går ut på dato, ikke fungerte. Skifte av leverandør av sertifikater førte til at sertifikater bestilt av gammel leverandør ikke trigget alarm.

Fredag 12.09

Logger fra brukere viste at sertifikat-fingerprint på klienten ikke var som det burde være. De viste seg at det var to ulike, men gyldige, sertifikater på UAG-ene. Sertifikatet fra UAG er cachet i klienten, og dette matchet da ikke sertifikat på den andre UAG-en. (Det er bare en UAG i produksjon, men de to snakker allikevel sammen.)

De to UAG-ene er nå helt like, og vi ser ikke denne feilen.

Onsdag 17.9

Det nedetid fordi infrastruktur i forbindelse med en databaseoppgradering også patchet keycloak. Dette var varslet internt, men konsekvensen av dette ble ikke fanget opp, delvis fordi dette kom inn i støyen fra feilen fredag. Pålogging var derfor nede onsdag mellom 07:45 og 08:15.

Teknisk: En intern feil i hostname førte til feilmeldinger som kunne tolkes som at dette hang sammen med UAG-feilen, men dette var uavhengig (når bruker kobler til et VM pool og connection serveren skal returnere deg til kiosk.educloud.no ble du forsøkt returnert til eduk-uag-p01.kiosk.educloud.no).

Konsekvenser

Edukiosk-pålogging var utilgjengelig for alle eller nesten alle brukere fra torsdag kveld frem til fredag 8:30. (Det var kun et fåtall brukere inne.)

Edukiosk-pålogging var fortsatt utilgjengelig for et mindre antall brukere ut fredag. Pålogging til kiosk-test fungerte.

Det skapte unødig usikkerhet at det ikke kom svar i RT-sak om at fortsatt pågående feilsøking når det viste seg at rollback ikke løste pålogging for alle. Det var løpende kontakt med noen brukere som ledd i feilsøkingen, men det gikk ikke beskjed i RT om dette.

Edukioskpålogging var utilgjengelig onsdag 17.09, kl 7:45 til 8:11.

Tiltak

Vi setter opp overvåkning av sertifikater i overvåkningsverktøyet Zabbix, selv om dette krever noe mer arbeid når sertifikatene byttes. Det skal gå beskjed om sertifikater, uavhengig av ny eller gammel leverandør. Vi setter opp oppgaver i Tasks som melder om det samme, med repeat. 

UAG: Vi mener å ha kontroll over hva som forsårsaket feilen 11.09. Alle sertifikater er nå fra samme leverandør, så feilen oppstår ikke igjen. Vi fryser allikevel alt frem til 10. oktober.

All patching enten det forventes konsekvenser eller ikke, gjøres i nedetidsvinduet andre onsdag i måneden (Microsoft patche-dag). Vi foreslår å opprette en avtalt gruppe brukere som kan kontrollere at tjenesten er tilgjengelig igjen. Gruppen bør ha deltagere fra forskjellige institusjoner og forskjellig pålogging (ipv4 og ipv6, direkte eller over vpn, o.l.).

Internt skal all patching uansett stor eller liten skal få et aktivt OK fra de andre berørte driftsgruppene.

Vi avklarer tydelig med Sikt om kommunikasjonskanaler.