Avviksrapport for Vitnemålsportalen
Dato: 2021-03-06
Vitnemålsportalen var nede fra ca kl 18:00 lørdag 6. mars til 11:45 søndag 7.mars pga utløpt sertifikat.
Beskrivelse av avviket og feilrettingsprosess
- 1. mars 10:00 går USIT igjennom interne varsler på sertifikater som snart utløper og det blir satt i gang bestillingsprossess. Bestillinge gjøres pr epost eller direkte med API-kall til sertifikatutsteder avhengig av hvem som eier domenet.
- 1. mars 10:58 sendes det epost til hostmaster@unit.no med bestilling på sertitikat for app.vitnemålsportalen og api.fellesstudentsystem.no. Bestillingen gjøres av et script for generering av sertifikater.
- 1. mars 12:30 UNIT hostmaster godkjenner bestillingen. Ferdig signert sertifikat sendes tilbake til epost-adressen bestillingen kom fra, dvs root@usit.uio.no. Dette er en epostadresse som brukes til autogenerert logmail på servere og enkeltmail blir i liten grad fulgt opp.
- 2. mars 10:45 sender UNIT hostmaster påminnelse om sertifikatet direkte til personen som står for bestillingen samt til en intern e-postliste på USIT. Den USIT-ansatte var ikke på jobb og registrerte ikke mottak av mail og den interne epost-listen har spam-filtrering som sperrer ekstern e-post uten å varsle avsender.
- 6. mars ca 18, sertifikatet for vitnemålsportalen utløper og UNIT mottar feilmeldinger fra brukere
- 6. mars 23:10. Nytt sertfikat sendes til kontaktpunkt for www-drift og det opprettes sak i RT.
- 6. mars 23:20 (ca) UNIT ringer USIT hjemmevakt. Hjemmevakt har ikke tilgang til å rette denne feilen selv og de avtaler at USIT skal følge opp videre søndag formiddag. Hjemmevakt varsler linjeleder pr SMS.
- 7. mars 09:30 linjeleder går igjennom saken men trenger bistand fra noen i www-drift. Sender melding med spørsmål om bistand videre til to personer.
- 7. mars 10:30 En ansatt følger opp saken, men registrerer ikke at sertifikatet allerede er mottatt.
- 7. mars 11:45 Nytt sertifikat for app.vitnemalsportalen.no er på plass og tjenetsen fungerer igjen.
Sertifikat for api.fellestudentsystem.no blir også byttet. Dette hadde senere utløpsdato og den tjenesten hadde ikke feil pga utløpt sertifikat.
Konsekvenser
I perioden med utløpt sertifikat var vitnemålsportalen utilgjengelig for brukerne. I perioden forsøke 215 unike klienter å kontakte tjenesten.
Hva skulle vi gjort for at situasjonen ikke oppsto?
Sertifikat for vitemålsportalen burde ha vært byttet i dagene før det utløp.
Hva kunne USIT gjort bedre?
Bestillingsrutine for sertifikater eid av UNIT fungerte ikke og svar fra UNIT ble ikke fanget opp.
Intern varsling kom sent slik at det ikke ble rom for at sertifikatbestillingen tok lengre tid enn normalt.
Tiltak
Gå igjennom bestillingsrutine sammen med UNIT for å sikre at vi mottar sertifikater inn til RT slik at det oppretter saker som kan følges opp uavhengig av hvem som bestiller sertifikatet.