Kapittel 3.1Risiko i store språkmodeller

Store språkmodeller er svært komplekse, og de genererte svarene er basert på statistiske mønstre i treningsdata fremfor faktisk forståelse av innhold. Feil, skjevheter og mangel på transparens kan få konsekvenser for sikkerheten til pasienter og kvaliteten på helsetjenester. Dette kapitlet beskriver noen av de underliggende årsakene som kommer fra trening av og egenskaper ved store språkmodeller (Figur 1). 

3.1.1 Dårlig datakvalitet og skjevheter i datagrunnlaget

Trening av store språkmodeller krever enorme mengder data hentet fra kilder som bøker, tidsskrifter, internettsider og sosiale medier. Gode kilder kan også være journalnotater og medisinske bilder.

Kvaliteten på dataene vil påvirke ytelsen til modellene. Noen faktorer som påvirker datakvalitet, er:

• Ufullstendige eller mangelfulle data. Frafall av innrullerte pasienter i kliniske studier kan føre til ufullstendige data. Manglende registrering av informasjon fører til ufullstendige og mangelfulle data [21]. Det kan være fordi dataene ikke er hentet inn systematisk. Pasientjournaler kan også mangle informasjon på grunn av varierende praksis i dataregistrering [22]. En annen årsak kan være at hensyn til personvern kan resultere i utelatelse av data.
• Feilinformasjon viser til informasjon som er feil eller misvisende [23]. Desinformasjon er en systematisk og bevisst form for feilinformasjon [24]. Små mengder feilinformasjon i treningsdata har vist seg å føre til misvisende svar fra medisinske KI-modeller [25]. Store språkmodeller kan være trent på data fra internett og/eller tredjeparts datakilder av varierende kvalitet. Disse kildene kan inneholde feilinformasjon som kan være vanskelig å oppdage.

KI-modeller kan videreføre og forsterke skjevheter som finnes i treningsdataene, samt bidra til å forsterke skjevheter som påvirker menneskelige vurderinger og dømmekraft [26][27]. Nedenfor er noen eksempler på typer skjevheter i data som er viktige å være klar over, spesielt på helseområdet:

• Overvekt av historiske data i forhold til nyere data, gjør at svarene fra modellene ikke er oppdatert i henhold til gjeldende praksiser og forskning. Innen medisin og helse bør ny kunnskap veies tung sammenlignet med historisk praksis.
• Seleksjonsbias i for eksempel publisering av vitenskapelige artikler. Det viser seg at positive funn og data oftere publiseres enn negative funn [28]. Kliniske studier med signifikante resultater rapporteres oftere enn negative studier [29]. Resultatet er at tekster og publikasjoner som brukes til trening av store språkmodeller i stor grad representerer de studiene som oppnår signifikans og bekrefter hypoteser. Ved rapportering av for eksempel intervensjonsstudier vektlegges ofte fordeler mer enn ulemper.
• Manglende lokal kontekst. Treningsdata for de store, generelle språkmodellene har sterk overvekt av tekst og informasjon på engelsk. I noen tilfeller trenes modellene kun på engelsk tekst. Norsk innhold fra internett vil uansett utgjøre en svært liten del av treningsdata [30][31]. Watson Oncology er et eksempel på at mangel på lokal kontekst kan påvirke ytelsen til en modell. Da modellen ble prøvd ut i Danmark hadde den betraktelig dårligere ytelse enn tidligere rapportert [32]. Danske klinikere pekte både på store forskjeller mellom danske og amerikanske retningslinjer for behandling av kreft, samt dårligere kvalitet på data fra kliniske studier utført i USA som mulige årsaker.
• Skjeve eller mangelfulle data for bestemte grupper og minoriteter. Ikke alle grupper og minoriteter er likt representert i datagrunnlaget som brukes for å trene store språkmodeller [33]. Historisk sett har for eksempel kvinner vært underrepresentert i kliniske studier [34]. Personer med nedsatt funksjonsevne eller minoritetsbakgrunn kan også være underrepresentert i kliniske studier. Dette kan skyldes bevisst ekskludering fra studiene, eller praktiske barrierer som transport, økonomi eller andre hindringer for deltakelse [35][36]. Dette er også relevant internt i Norge der det kan være mindre tilgjengelig data fra minoriteter og den samiske urbefolkning for eksempel [37].

3.1.2 Manglende transparens, forklarbarhet og tolkbarhet ("svart boks"-problemet)

Store språkmodeller kan fungere som "svarte bokser", der verken brukere eller utviklere kan forklare fullt ut hvordan et spesifikt svar (utdata) fra en KI-modell blir generert. Mangel på transparens, forklarbarhet og tolkbarhet kan bidra til denne "svart boks"-problematikken [38]. Dette er distinkte karakteristikker som bygger oppunder hverandre.

Transparens viser til hva som skjedde i modellen. Indikatorer som bidrar til transparens er tilgjengelig informasjon om:

• data brukt til trening
• kildekode
• metoder for trening
• evaluering
• ytelse

The Foundation Model Transparency index bygger på 100 ulike indikatorer på transparens relatert til trening, selve modellen, eller bruken av modellen [39]. Eksempelvis har Mistral 7B, som kan brukes av tredjeparter uten restriksjoner, en indeks på 55 %, det vil si at det ikke finnes noe tilgjengelig informasjon om 45 av de 100 indikatorene (deriblant datakilder) [40].

Forklarbarhet viser til hvordan et KI-system fungerer og hvilke mekanismer som styrer beslutningene det tar. Med mange millioner eller milliarder parametere og komplekse nevrale nettverk kan store språkmodeller operere som svarte bokser, selv med åpenhet rundt både data og kildekode [41].

Tolkbarhet viser til hvorfor modellen kom frem til et svar [42]. Det kan være å vise frem til brukere hvilke instruksjoner som er gitt for å komme frem til svaret, noe dagens KI-systemer sjelden viser. En metode som bidrar til bedre tolkbarhet, er resonnering (se KI-faktaark Intelligensforsterkning og kontroll [43]).  

Store språkmodeller opererer sannsynlighetsbasert og genererer det mest sannsynlige svaret ut fra treningsdataene, men ofte uten en klar forståelse av når svarene er riktige. Manglende forklarbarhet og tolkbarhet kan for eksempel gjøre det vanskelig for klinikere å vurdere om anbefalinger fra språkmodeller er pålitelige, fordi de ikke kan evaluere hvilke mekanismer og data som ligger til grunn [44].

Metoder for å forankre modeller i fakta eller synliggjøre resonnementer eller hvilke parametere som er vektlagt (se KI-faktaark Intelligensforsterkning og kontroll [45]) kan gjøre det lettere for helsepersonell å vurdere kvaliteten på det genererte svaret [46]. Samtidig kan bruk av forankringsmetoder redusere oppmerksomheten rundt modellens begrensninger som fortsatt krever en kritisk evaluering av utdataene [47].

Mangelen på forklarbarhet og tolkbarhet gjør det også vanskelig å oppdage når modellen genererer feilaktige eller oppdiktede svar, også kjent som hallusinering.

3.1.3 Hallusinering

Fordi språkmodeller ikke har en innebygd forståelse av kunnskap og hva som er sannhet, men opererer basert på sannsynlighetsberegninger, kan de generere feilaktig, mangelfull, unøyaktig eller misvisende informasjon med stor overbevisning. Dette fenomenet, kjent som hallusinering, innebærer at modellen kan presentere informasjon som ser troverdig ut, men som enten er feil, tatt ut av kontekst eller ikke har noe grunnlag i treningsdataene.

Sannsynligheten for hallusinering øker dersom treningsdataene har lav kvalitet eller mangler representasjon, for eksempel dersom viktige medisinske perspektiver eller oppdaterte retningslinjer mangler. Selv i modeller trent på høykvalitetsdata kan hallusinering forekomme, da dette er en iboende begrensning ved store språkmodeller [48].

Hallusinering kan deles inn i to kategorier:

• fakta-hallusinering, der modellen genererer feil eller oppdiktede påstander.
• kontekst-hallusinering, der informasjon tolkes feil eller settes inn i en uriktig sammenheng.

I tillegg kan utelatelse av kritisk informasjon utgjøre en risiko, særlig i helsesammenheng, der det stilles strenge krav til nøyaktighet.

Temperaturinnstilling (se faktaboks om temperatur), ettertrening og metoder for å kunnskapsforankre modellen kan redusere forekomsten av hallusinering (se avsnitt 4.2).