Avviksrapport for programkiosken
Dato: 2021-12-30
Alle tjenester (fs,tableau,agresso...etc) på programkiosken (kiosk.uhad.no) var utilgjengelige pga. problemer med rdbroker. (En RDBroker er en en tilkoblingsmegler for eksternt skrivebord som gir klienter tilgang til ulike typer serverbaserte programmer. Dette er en sentral komponent i UHAD)
Beskrivelse av avviket og feilrettingsprosess
- 9:22: Første brukeren varsler om problemet
- 9:25: Feilsøking starter
- 9:30: sjekket om problemet var relatert til den vanlige profildisk problematikken
- 9:39: Kunden er informert om pågående feilsøking
- 9:45: Reproduserer samme feilmelding flere ganger
- 9:50: Prøver med forskjellige instillinger i RDP
- 10:00: Sjekker i grafana antall innlogget brukere. Det var 0.
- 10:15: Utfører rutinsjekker på fs serverne.
- 10:25: Besvarer flere klagemeldinger
- 10:30: Starter feilsøking på rdgateway
- 10:45: Restarter rdgateway
- 11:00: melding ble sendt til oppdragsvirksomhet om problemet
- 11:05: Søker opp feilmeldingen i google for å finne en løsning
- 11:15: Søker gjennom intern dokumentasjon for liknende problemer
- 12:00: Kontakt med seksjonssjef
- 12:10: Reboot på Rdbroker er kjørt
- 12:20: Problemet er løst
- 12:28: kundene er informert om løsningen
Konsekvenser
Rdbroker er en kritisk komponent og hvis denne feiler så blir tilkoblingen til alle tjenester i programkiosk utilgjengelige. Alvorlighetsgrad A. Situasjonen oppsto i romjula, så det var trolig veldig få brukere som berørt.
Hva skulle vi gjort for at situasjonen ikke oppsto?
Det var umulig å forberede seg for denne spesifikke situasjonen.
Hva kunne USIT gjort bedre?
Usit kunne ha reagert fortere med bedre intern kommunikasjon.