Avviksrapport for Sympa for UiB

Dato:2026-06-04
Oppdatert:2026-09-09
Skrevet av:Ingar Vindenes

Fra onsdag 3 juni klokka 14:39 til torsdag 4. juni klokka 11:39 ble ingen e-post mottatt eller sendt fra UiB sin Sympainstans grunnet feil i nettverksoppsett til proxy-tjeneren som håndterer e-post mellom UiO og UiB/MS365.

Som det ofte er når noe går galt, så er det fordi flere ting skjer samtidig. I dette tilfellet gikk mange av UiOs IT-tjenester ned kort tid etter feilkonfigurasjonen av proxy-tjeneren skjedde, samt at endring av IP også brakk overvåkningen på vår side. Altså, akkurat som endret IP gjorde at tilgangen satt i UiB sin Exchange Online-løsning og i Sympatjenesten sluttet å fungere, så medførte ny IP at tjeneren ikke fikk snakket med overvåkningssystemet til UiO.

Beskrivelse av avviket og feilrettingsprosess

Onsdag 3. juni:

  • 14:30: HAproxy-tjeneren får lagt til en ny/ekstra IP, med den utilsiktede konsekvensen at primær utgående IP endres uten at det blir oppdaget.
  • 14:39: Første feilmelding i loggene til Sympa-tjeneren til UiB .
  • 15:04: Lastbalanseringen til LDAP og SMTP på UiO går ned i forbindelse med bytte av fiberkort. Oppfølging av dette blir fokus.
  • 18:NN: Overvåkningen til UiB rapporterer om køer mot Sympa.
  • 19:53: UiB sender inn en RT-sak (e-post) om problemer med køer i Exchange Online mot Sympa-instansen.
  • 08:25: Ny kontakt med UiO på Teams ang. e-postkøene, noe vi dessverre ikke ser.

Torsdag 4. juni:

  • 09:08: RT-saken blir svart ut som antatt løst og relatert til de generelle problemene dagen før.
  • 09:18: UiB svarer tilbake i RT-saken om at problemet ikke er løst.
  • 09:42: Vi starter feilsøking av at proxy-tjeneren ikke får snakke med overvåkningssystemet, men kobler ikke dette mot ny IP og at det vil brekke inn og utgående e-post for UiB.
  • 11:NN: Rundt 11 skjer to ting samtidig. UiO har identifisert at problemet er knyttet til proxy'en og UiB kontakter seksjonssjefen til DKP - begge deler gjør at saken eskaleres.
  • 11:20: Feilsøkingen fokuseres på proxy-løsningen.
  • 11:NN: Videre testing der kombinert med feilmeldinger i logger avdekker at feil IP brukes. Nettverksoppsettet endres så riktig IP brukes som standard for utgående trafikk.
  • 11:39: Siste feilmelding i loggene på Sympa-tjeneren.
  • 11:47: UiB rapporter om at det ser bedre ut på deres side.

Konsekvenser

All e-post inn og ut fra e-postlistene til Universitetet i Bergen ble stoppet i nesten et døgn. E-post inn til Sympa vil ha blitt køet i Exchange Online, mens utgående e-post har blitt køet i Sympa, noe som betyr at meldingene har blitt forsinket og ikke gått tapt.

Det som gjør hendelsen mer alvorlig er at det tar så lang tid fra feilen oppstår til den løst.

Hva skulle vi gjort for at situasjonen ikke oppsto?

I ettertid så er det to ting som kunne vært gjort bedre. For det første, selv om det å legge til en ny IP på proyy-tjeneren i utgangspunktet er en enkel rutineoppgave, så har feil knyttet til nettverksoppsettet store følger og burde vært kommunisert bedre internt hos UiO. For det andre bør det nok være en overvåkning av proxy-tjenesten som kjører «eksternt».

Tiltak

Det bør opprettes overvåkning av proxy-tjenesten fra en uavhengig tjener. Da vil feil med nettverksoppsettet fanges opp tidligere. Det bør i tillegg sees på om annen overvåking kan utvides, spesielt mht. varsling av mangelnde varsling/oppdateringer.

Tilslutt bør vi se på om nettverksoppsettet i større grad kan «hardkodes», slik at ikke primær utgående IP dynamisk kan endre seg.