Dette semesteret har vi, Hedda og Camilla, jobbet med ortografisk transkripsjon av samtaler, debatter, taler, og annet som skal brukes i den norske talespråkdelen av det språkvitenskapelige forskningsprosjektet ‘International Comparable Corpus’ (ICC).
Vi har rett og slett skrevet ned i detalj hva folk i ulike lydklipp sier. Høres det monotont og tidkrevende ut? Det er det. Hva har vi lært? Mye, men kanskje spesielt at TTT–transkripsjon tar tid. Inspirert av Jarle Ebelings innlegg om automatoversettelse i denne bloggen ville vi teste om automatiske transkripsjonsprogrammer kan gjøre transkripsjon lettere og raskere. Er KI eller manuell transkripsjon best i klassen akkurat nå?
For å undersøke dette har vi valgt ut et utdrag på cirka 160 ord fra en samtale mellom venner om nettopp Jarles blogginnlegg. (Ja, vi syns det var litt nerdete meta at utdraget skulle handle om akkurat det.)
Det finnes en rekke tjenester som tilbyr automatisk transkripsjon av tale til tekst, og vi har her tatt utgangspunkt i to tjenester som brukes i akademia i dag–Autotekst og Word Online. I tabellen under har vi, Autotekst og Word Online transkribert utdraget.
Hva syns dere?
Tabell 1. Sammenlikning av manuell transkripsjon, Autotekst og Word Online. # betyr at taleren tar en pause, +u at talen er uklar og %o betyr at taleren bruker onomatipoetikon (lydmalende ord).
| 1. Manuelt | 2. Autotekst (UiO) | 3. Word Online |
| A: Det er akkurat det # hvor mye f ... og en sånn tekster som jobber på sånne automattekster - er det elendig betalt? | Det har vi ikke hatt det. Og en sånn tekst som jobber på sånn automatisk tekst, er det elendig betalt. | T2: Det er akkurat det og mye på en sånn tekst som jobber på sånne mat tekster. Er du elendig betalt? |
|
B: Ja |
Ja. Men det er nesten vanskelig å gjøre. Ja. Ville jeg ha tenkt. Ja. |
T2: Ja. Men det er vel nesten vanskeligere? Ja, det vil jeg. Ha tenkt ja |
| A: Fordi du må liksom %o vri hjernen for åssen du skal # få det naturlig liksom C: Ja +u ja |
Så vi må liksom, å, dri igjen for å se om du skal få den naturlig liksom. | T2: For vi må liksom. T1: Nøyaktig god det. T2: Blir gjerne på åssen. Du skal få den naturlige. |
| B: Ja, og så blir du ikke betalt for å gjøre det. Så det er jo # det er jo derfor det har havna så innmari mye rart på skjermen C: Ja A: Nei det er akkurat det A: Ja |
Ja, også blir det ikke betalt for å gjøre det. Nei, det er det. Derfor det har hatt noen sinn bare mye rart på skjermen. . Ja. |
T1: Ja også blir det ikke betalt. T2: Lyst opp. T1: For å gjøre det, så det er det er nemlig det jeg havnet hos innmari. T2: Nei er ikke. T1: Mye rart på skjermen. |
| C: Ja, du blir fanga av det du ser +u vel er jo nesten umulig B: Ja A: Ja |
Du blir fanget av det du ser. Ja. |
T(?): Ja, du blir fanget av det du ser. Ja, det er nesten mulig. |
| B: Ikke bare det at du blir fanga, men du har rett og slett ikke tid # eller økonomi til å # det her må jo vris om totalt |
Ikke bare det at du blir fanget, men det var rett og slett ikke tid eller økonomi til å, det her må jo grise om totalt. | T1: Jeg er ikke. Bare det at du blir fanget, men du har rett og slett ikke tid, eller? Økonomi til å. T(?): Ja åpne her. T2: Det her må. T1: Jo bris om totalt. |
Utydelig tale? Kan Autotekst fange opp det?
Vi mennesker slurver og mumler når vi snakker. Det skjønner ikke KI og gir oss dermed rare alternativer som “Det har vi ikke hatt det.” når taleren egentlig sier “Det er akkurat det.”
Mennesker ler, tar pauser, kremter og avbryter hverandre. Det ignorerer KI fullstendig i sin transkripsjon. Ved manuell transkripsjon forstår vi også bedre hva taleren kanskje sier i den gitte sammenhengen ut ifra samtaleemne og situasjonen. Erfaringene våre denne høsten tilsier at KI ikke forholder seg til konteksten setninger blir sagt i. Ved manuell transkribering hører vi et uklart ord og velger oss det ordet i vårt mentale leksikon vi tror det er ut ifra konteksten. KI ser ut til å tillate seg selv enda litt mer frihet. Den velger gladelig å transkribere ikke-ordet “dri” når taleren utydelig sier “vri”.
Skille mellom talere?
Utdraget fra samtalen over er en dialog med flere talere. Ved manuell transkripsjon kan man stort sett høre seg til forskjellene mellom talere og dele inn i for eksempel taler 1, taler 2 og taler 3. Iblant er det utfordrende å høre om taler 1, 2 eller 3 ler også ved manuell transkripsjon, men vi forstår som regel hvem som sier hva.
Dette er en viktig oppgave verken Autotekst eller Word Online kan hjelpe oss med. Autotekst skiller ikke mellom talere i det hele tatt og Word Online gjør det helt feil. Word Online skal for øvrig ha at den er ganske konsekvent i sitt arbeid. Den legger oftest til massevis av talere der det i virkeligheten bare er én person som sier noe.
Forstår vi egentlig essensen (godt nok) ved å bare lene oss på automatiske transkripsjonstjenester?
Vi legger også merke til at ord som blir fanget opp ved manuell transkripsjon ofte ikke blir registrert av de automatiske transkripsjonstjenestene. I enkelte tilfeller blir konteksten til og med vridd om ved bruk av automatiske tjenester, ta for eksempel en titt på dette (hentet fra slutten av utdraget):
1) “Det her må jo vris om totalt”. (Manuelt)
2) “Det her må jo grise om totalt”. (Autotekst)
3) “T2: Det her må. T1: Jo bris om totalt. (Word Online)
Likevel kan man jo reflektere over hvorvidt vår egen transkripsjon er til å stole på når det gjelder forståelse av enkelte ord som blir uttalt. Her vil det være forskjeller–alt ettersom hvem som hører og tolker. Manuell transkripsjon er en subjektiv sport og vi mennesker hører ofte feil. Det bør man også ha med seg inn i kritikken av automatisk transkripsjon.
Et annet poeng i forbindelse med å hente ut essensen i talen, er om retting av KIs transkripsjon farger vår egen oppfatning av lydopptaket og deretter vår egen transkribering. For dersom man hører et lydklipp samtidig som man leser et ord, kan man lett bli påvirket til å tro at man hører det man leser. Hvis dette er tilfelle så er det problematisk.
Status (sen)høsten 2023
Gitt konteksten, som for vår del har vært å transkribere filer til det språkvitenskapelige forskningsprosjektet ICC, ser vi at automatiske transkripsjonsstjenester (av de vi her har testet) ikke erstatter kvaliteten manuell transkripsjon tilfører. Per dags dato syns vi egentlig at KI gjør transkripsjonsjobben vanskeligere for oss. Det krever mer å rette opp i feilene KI gjør enn å bare transkribere selv.
... Men en dag blir sikkert KI bedre enn oss. Vi krysser fingrene og venter i spenning siden det absolutt er potensial for å spare mye tid og krefter ved å få hjelp av KI.
Mer om KI-tjenestene:
