Bakgrunn
Dette arbeidet er utført på oppdrag fra prosjektet UiO digital eksamen. Arbeidet har ledet fram til føringer, retningslinjer og anbefalinger for tekniske løsninger for digital vurdering ved UiO, og består av underlagsdokumenter for arkitektur, brukeropplevelse, fysisk infrastruktur og drift-, personalmessige og organisatoriske aspekter.
UiO har relativt liten erfaring med gjennomføring av digital eksamen og digitale vurderingsformer. Prosjektet kommer med noen konkrete anbefalinger rundt arkitektur, drift, fysisk infrastruktur og brukeropplevelse, men vil også understreke viktigheten av at det legges opp til justeringer og endringer underveis, etter hvert som man får erfaring med avvikling av digitale vurderinger.
Prosjektet har jobbet ut fra målsettingene om at tjenesten for digitale vurderingsformer skal legge til rette for endringsdyktighet, faglig og pedagogisk fleksibilitet, og god brukeropplevelse. Videre at tjenesten skal følge nærhetsmodellen og tilrettelegge for standardisering av administrative komponenter i tjenesten for UiO.
Brukeropplevelse
Prosjektet har utarbeidet retningslinjer for brukeropplevelse innenfor digitale vurderingsformer:
- IKT-løsninger skal være universelt utformet
- IKT-løsninger bør benytte teknologi som gjør løsningen tilgjengelig med assisterende verktøy (f.eks. leselist)
- IKT-løsninger bør følge generelle prinsipper for god brukervennlighet
- En eksamensløsning må ivareta de viktigste oppgavene for sluttbrukerne av systemet
Disse retningslinjene skal inngå i en kravspesifikasjon for systemer for digitale vurderingsformer og brukes som grunnlag for å vurdere ulike løsningers brukervennlighet.
Drift av klientutstyr og fysisk infrastruktur
Uninetts UFS 145 - Fysisk infrastruktur til digital eksamen og UFS 146 - Klienter for digital eksamen gir et utgangspunkt for krav og retningslinjer for drift av klienter og fysisk infrastruktur. Prosjektet har gjort egne vurderinger av UNINETTs retningslinjer. UiOs erfaringer og innspill fra UiA, som har flere års erfaring med avvikling av digital skoleeksamen, er tatt med i vurderingene.
Følgende krav og retningslinjer anbefales og gis som innspill til arbeidet med kravspesifikasjon og forvaltningsmodell for digitale vurderingsformer ved UiO:
- Reserveløsninger (f.eks. minnepenn, lånemaskiner, penn og papir) må være tilgjengelig ved avvikling av digital eksamen.
- Eget teknisk overvåkingsregime for digital eksamen må opprettes, og forholdet mellom lokal og sentral forvaltningsorganisasjon mtp. overvåking/operasjon må avklares.
- Digital eksamen bør benytte normalt operativ nett-infrastruktur, både trådløst og kablet. Spesialløsninger vil begrense skalering, fleksibilitet og drastisk øke kostnader.
- Rom som skal benyttes til digital eksamen må «sertifiseres», slik at man kan være sikre på at rommet er tilpasset kapasiteten.
- Det må finnes teknisk personale som kan tilkalles ved behov.
- Ved BYOD-eksamen må det etableres en hjelpefunksjon for studentene. Ressursbruken vil variere avhengig av kompleksiteten i eksamensløsningen (krever den spesiell programvare mm.), og i hvilken grad man ønsker å kreve «sertifisering» av studentenes utstyr i forkant av digital eksamen.
- Det må avklares hvor ansvar for overvåking, kontakt med leverandør, kontakt med det utplasserte tekniske personalet skal ligge og hvordan det skal forvaltes.
Juridiske og IT-sikkerhetsmessige premisser
Juridiske vurderinger
I 2014 ledet USITs jurister arbeidet med Digital vurdering og eksamen - en juridisk vurdering. Rapporten er publisert av Norgesuniversitetet og ble skrevet på oppdrag fra deres "Ekspertgruppe for digital vurdering". Det er planlagt en revisjon av rapporten i 2016, i mellomtiden vil eventuelle nye problemstillinger, eller endring i juridiske forhold rundt avvikling av digital eksamen, måtte vurderes fortløpende. Forslag til endringer i egenbetalingsforskriften i universitets- og høyskoleloven, som kan medføre at utdanningsinstitusjoner kan kreve at studentene har egen datamaskin skal behandles høsten 2015, og kan medføre behov for revidering av rapporten.
- behandling av personopplysninger relatert til gjennomføring av digital eksamen
- lagring av eksamensoppgaver, eksamensbesvarelser mm.
- innsyn i eksamensoppgaver, eksamensbesvarelser og sensurnotater
IT-sikkerhet
Det er UiOs IT-sikkerhetshåndbok som ligger til grunn for vurderinger av, og stiller krav til, løsninger i en tjeneste for digitale vurderingsformer. Rutinene ved anskaffelse, vedlikehold og utvikling av IT-ressurser skal følges, for å sikre at ressursene imøtekommer relevante IT-sikkerhetskrav.
IT-sikkerhetsmessige aspekter må vurderes spesifikt for enhver løsning og enhver databehandler i en tjeneste for digitale vurderingsformer.
Ved anskaffelse eller utvikling av nye løsninger, samt ved større endringer i eksisterende løsninger, skal det gjennomføres risiko- og sårbarhetsanalyser som drøfter risikoer og konsekvenser for uønskede hendelser.
Arkitektur
Prosjektet anbefaler en arkitektur hvor digitale vurderingsformer ved UiO sees på som en tjeneste som kan inneholde ulike vurderingsløsninger for ulike faglige og pedagogiske behov.
En slik fremtidsrettet arkitektur er grunnleggende for at UiO skal være endringsdyktig med hensyn til innføring av digitale vurderingsformer. Digital eksamen er et relativt nytt felt der behov og funksjonalitet er i konstant endring. Dagens modell for digitale vurderingsformer er i stor grad en digitalisering av den klassiske skoleeksamen (forstått som en ren tekstbasert oppgave), men digitalisering åpner også for helt nye vurderingsformer, som vil kunne ha innvirkning på hva som oppfattes som en eksamen i fremtiden.
Prosjektet har utarbeidet et arkitekturforslag for digitale vurderingsformer som identifiserer klart definerte komponenter og samspillet mellom dem, med det mål at disse kan endres, byttes eller kjøres i parallell. Dette vil sikre smidige endringer og tilrettelegge for gode brukeropplevelser. Som eksempel vil fakultetets- eller instituttspesifikke behov kunne ivaretas i en felles digital eksamensløsning, uten å påvirke resten av virksomheten. Brukere kan forholde seg til sine vanlige arbeidsflater selv om systemet endres og man kan tilby innsyn i systemet på tvers av flere arbeidsflater.
På kort sikt anbefales det at de systemene som eksisterer i dag (JUS-modellen, QP, Fronter, Devilry mfl.) videreføres, med integrasjon med FS som et minimum. Det samme gjelder også ved innkjøp av nye systemer, som for eksempel Inspera. På denne måten kan UiO få innført digital eksamen og få verdifull erfaring med slike systemer.
Videre arbeid
Prosjektet foreslår at arbeidet med innføring av digital eksamen skjer gradvis og over tid, slik at man kan bygge på læring og erfaringer underveis. Dette gjelder både for teknisk løsning og for forvaltningsorganisasjonen. Etablering og uttesting av en arkitektur for digital eksamen, og uttesting av eksamensløsninger og forvaltningsmodell vil gjøre UiO bedre skikket til å ta velbegrunnede valg rundt tekniske retningslinjer og arkitektur.
Etablering av arkitektur
Det anbefales at man starter et arbeid med å se på hvordan eksisterende og nye løsninger kan integreres i foreslått arkitektur. Arbeidet bør basere seg på eksplorativ utvikling med hyppige iterasjoner og evaluering underveis. Det er viktig at det gis rom for utprøving av arkitekturen for å komme frem til løsninger som fungerer for UiO. Dette arbeidet vil kreve at det avsettes ressurser på USIT til utvikling og tilpassing av komponenter i arkitekturen. Prosjektet anbefaler at dette arbeidet estimeres og planlegges høsten 2015.
På lengre sikt anbefales det at alle vurderingsløsninger ved UiO kobles til foreslått arkitektur. Dette vil muliggjøre at man kan standardisere administrative oppgaver for ansatte og studenter og tilby en mer enhetlig brukeropplevelse på tvers av eksamensløsninger. Videre kan man legge til rette for bedre råderett og kontroll over data som eksamensoppgaver og besvarelser i tråd med juridiske krav for lagring og innsyn i eksamensbesvarelser.
BYOD
UiO har erfaringer med gjennomføring av eksamener i PC-saler gjennom JUS-modellen. Prosjektet anbefaler at BYOD-løsninger får fokus i avviklingen av eksamener høsten 2015, slik at man også får nødvendige erfaringer med dette. Erfaringene fra disse pilotene vil danne et grunnlag for videre valg av teknologi og løsning. Prosjektet har drøftet ulike rutiner som skal sørge for at BYOD vil være en god løsning ved avvikling av skoleeksamen, og anbefaler at UiO-prosjektet og USIT sammen kommer fram til hvilke av disse som skal utprøves og etterprøves i høstens gjennomføring.
Anbefalt plan for videre arbeid
Høsten 2015:
- Teste Inspera med BYOD og basert på erfaringer gjøre avklaringer rundt tekniske behov og forvaltningsmodell
- Planlegge og estimere utviklingsarbeid rundt etablering av kjernekomponenter (eksamens-API og utvidelse av webtjenester for studieinformasjon)
- Avgjøre hvilke løsninger som skal integreres/utvikles for å ta arkitekturen i bruk
- Legge til rette for eksplorativ utvikling med hyppige iterasjoner og evalueringer
Våren 2016 og fremover:
- Videreutvikling av arkitektur for digital eksamen basert på erfaringer og behov
- Arbeid med integrering av andre eksisterende og nye løsninger inn i arkitekturen
Organisering
USIT anbefaler at det videre arbeidet med utvikling av arkitekturen for digitale vurderingsformer forankres på USIT, med arbeidsgrupper med deltakere fra andre enheter etter behov.