Avviksrapport for RDS-portal Lisensfeil
Dato: 2021-09-02
Skrevet av: Arild Marthinsen
Personer som logget seg på FS fra kl 0915 Mandag 08.02 fikk opp en feilmelding " Den eksterne økten ble frakoblet fordi det ikke finnes noen lisensservere for Eksternt skrivebord som er tilgjengelig for å opprette en lisens. Kontakt systemansvarlig"
Beskrivelse av avviket og feilrettingsprosess
Dette er en beskrivelse av hva som skjedde og hvordan situasjonen ble rettet. Gjennomgangen bør være ganske detaljert med tidspunkt, navn på personer, konkret hva som ble gjort ala:
| Dato / Tidspunkt | Konkret Hva har skjedd / hva har blitt gjort | Personer | kommentar |
|---|---|---|---|
| 08.02.2021 09:15 | Første feilmelding blir innmeldt til USIT. | AM / MH | |
| 09:20 | Feilsøking blir satt igang. Da vi hadde mottatt en del feilmeldinger som sa det samme så fant vi ut at det var lisens-serveren som var problemet. | AM | |
| 09:30 | Lisens-serveren sin CPU ble benyttet 100% av en prosess hadde stoppet opp. Dette gjorde at utdeling av lisenser ikke ble utført, selvom maskinen responderte. | AM | |
| 09:45 | RDMS og TSCpucRPC prosessen stoppet og restartet. Disse ville ikke starte korrekt før etter en restart av serveren. Restart av serveren ble utført. | AM | |
| 09:55 | Serveren og prossene startet opp og fungerte som tiltenkt, men personer som hadde forsøkt å koble opp opplevde problemer. Videre feilsøking. | AM | |
| 10:15 | Nettlesere som har prøvd å koble seg til tidligere måtte resette sesjonen. Personer som tidligere ikke har forsøkt å logge seg på fungerer det fint for. | AM | |
| 12:30 | Restartet og restatt en del sesjoner for brukere. Admin-konsoll faller ned. Restart av hele miljøet er påkrevd. Dette blir utført etter arbeidstid. | AM | |
| 18:00 | Kontrolert omstart av hele FS-miljøet blir utført. Matrise-skjema satt opp og test-kontrolert alle applikasjonene som startet | AM | |
| 19:00 | Systemet friskmeldt. Melding sendt ut til alle brukerene om at ting nå var fikset og skulle fungere som tiltenkt. | AM | |
| 09.02.2021 09:00 |
Alle brukere (utenom 2 hos NHH, hvor det er interne problemer) som hadde problemer i går melder om at ting fungerer nå som tiltenkt igjen. | AM | |
| 10:00 | Internmøte i gruppen rundt problemet rundt opphav, reproduksjon m.m. | AM | |
| 12:00 | Saken lukkes fra USIT sin side. | AM | |
Konsekvenser
A-Feil:
Lisens-serveren fikk en stopp i en prosess som gjorde at Lisenser ikke ble verifisert eller sjekket. Brukere som prøvde å logge seg på i tidsrommet fikk problemer, og lenken mellom nettleseren og remote desktop snarveien som ble hentet ned måtte bli brutt. Dette ville blitt utført kl 0200 uansett da USIT har satt opp daglig restart av alle maskinene sine.
Personer som benyttet en annen nettleser for å logge seg inn eller ikke hadde forsøkt før kl 10 kom inn som tiltenkt.
Dette antar vi berørte alle som prøvde å logge seg inn i tidsrommet ting var nede, men USIT fikk kun høre om få enkelt-tilfeller uvisst hvorfor.
Hva skulle vi gjort for at situasjonen ikke oppsto?
Slike situasjoner kan man ikke forutse og kan ikke forhindres. Bakgrunnen for hvorfor dette oppstå er også uvisst og har ikke oppstått over ett tidsrom på 3 år (våre logger går kun 3 år tilbake).
Hva kunne USIT gjort bedre?
Her er det lite som kunne vært gjort da slike ting lettere oppdages av kunder, enn ett system som kan sjekke dette med jevne intervaller.
Tiltak
Ingen tiltak vil bli iverksatt på bakgrunn av det som skjedde.