I samarbeid med Kulturhistorisk museum har TASK-teamet med hjelp fra Maiken fra Seksjon for beregningstjenester satt i gang tre tiltak, hvor vi undersøker om KI-ressurser IT-avdelingen rår over kan effektivisere noen prosesser museet ikke har kapasitet til å prioritere å understøtte om manuelt. De tre prosessene er:
- Gjenkjenne innhold i bilder
- «Oversette» gamle katalogtekster til moderne norsk
- Lage gode sammendrag av beskrivelser av gjenstander funnet under utgravinger
Angående 1. er det snakk om å trene en modell som kan skille mellom bilder av gjenstander, bilder tatt under utgraving/feltarbeid, flyfoto og bilder tatt under arrangement på museet, typisk åpning av utstillinger o.l. Kort fortalt trenes modellen på bilder hvor vi har metadata om bildene, f.eks. om det er bildet av en gjenstand eller et utgravingsfoto, og så skal modellen, hvis den blir god nok, sette på tilsvarende metadata på bilder hvor det per i dag *ikke* finnes noe metadata.
Prosess nr. 2 går ut på å ta katalogtekster skrevet på norsk, slik de ble skrevet på 1800- og tidlig 1900-tallet og «oversette» tekstene til moderne norsk, og etter hvert også andre språk.
En svakhet ved dagens publisering av eldre arkeologiske funn er at de kan være (nærmest) uforståelige for oss som er vokst opp etter 2. verdenskrig, nordmenn med innvandrerbakgrunn og folk fra utlandet som er interesserte i beskrivelser av arkeologiske funn og hvilke gjenstander som ble funnet. Til denne prosessen tenker vi å benytte en av de etablerte språkmodellene / chat-tjenestene UiO tilbyr med spesifikke instrukser og prompting. Her er et lite eksempel på en slik tekst med eldre norsk språk (Original). I det første tilfellet er teksten oversatt direkte til morderne norsk (OpenAI norsk -> norsk) og i det andre tilfellet har oversettelsen gått via engelsk (OpenAI norsk -> norsk):
Original
1432. Et Helgenbillede af Træ, forestillende St. Olaf; han er iført fuldstædig Pladerustning, har i høire Haand holdt en Stridsøxe, i venstre holder han en Kalk (?) med Laag over; paa Hovedet har han en Krone, under Fødderne ligger en Menneskeskikkelse, paa hvilke han træder; selve Billedet, der er halvophøiet, er 20 Tr. høit; det er fæstet paa en Træplade, der er 1 Al. 4 Tr. høi og omtrent 8 Tr. bred.
OpenAI: original -> norsk
1432. Et helgenfigur av tre, som forestiller St. Olaf. Han er iført fullstendig platerustning, har i høyre hånd holdt en stridsøks, og i venstre holder han et drikkebeger (?) med lokk over. På hodet har han en krone, og under føttene ligger en menneskeskikkelse som han trår på. Selve figuren, som er halvt opphøyd, er 20 tommer høy. Den er festet på en treplate som er 1 alen og 4 tommer høy og omtrent 8 tommer bred.
OpenAI: original -> engelsk -> norsk
1432. Et helgenbilde av tre, som forestiller St. Olaf. Han er iført en komplett platerustning, holder en stridsøks i høyre hånd, og i venstre hånd holder han en kalk (?) med lokk over. På hodet har han en krone, og under føttene ligger en menneskeskikkelse, som han trår på. Selve bildet, som er halvveis opphøyd, er 20 tommer (ca. 52,3 cm) høyt. Det er festet på en treplate som er 1 alen og 4 tommer (ca. 72,91 cm) høy og omtrent 8 tommer (ca. 20,92 cm) bred.
Hvilken «oversettelse» er best?
Den 3. og siste prosessen vi ser på, ligger litt på vent, siden vi tenker at den vil kreve en god del finjustering av modellen vi vil benytte og kanskje også bruk av såkalt RAG (https://en.wikipedia.org/wiki/Retrieval-augmented_generation). Kort fortalt går dette ut på å summere antall funn av typer av gjenstander man ofte finner mange av under utgraving av (spesielt) steinalderboplasser, så som flintavslag og flekker og prøver som tas i ettertid, som sier noe om datering av funn gjort under utgravingen. De automatsammendragene man har i dag lister opp disse funnene ett og ett, men arkeologene vil gjerne lage korte sammendrag av dem, f.eks. basert på mål.
Vi vil blogge om resultatene utover våren, så følg med!
Våren ble dessverre til høsten, men her er i alle fall presentasjonene av resultatene av bildegjenkjenningen og automatoversettelsen.
Emma, Jarle, Knut, Luigi, Maiken og Naoe
