Bruk av store språkmodeller har stort potensiale for å forbedre både effektiviteten og kvaliteten i helse- og omsorgstjenesten, eksempelvis gjennom strukturering av fritekst i pasientjournalen, maskinassistert helsefaglig koding, beslutningsstøtte i behandling, kunnskapsstøtte, prediksjon, sortering og triagering av pasienthenvendelser, automatisk tekstproduksjon, klinisk samtalerobot (spørsmål og svar), innbyggerrettet samtalerobot (spørsmål og svar), hjelp til klarspråk, talegjenkjenning, helseutdanning, helseforskning, oversettelse og logistikk [18].
Samtidig har språkmodeller noen iboende utfordringer, som kan påvirke både pasientsikkerheten og kvaliteten på helsetjenestene, noe som igjen kan påvirke den overordnede tilliten til helse- og omsorgstjenesten. Bruk av store språkmodeller er i en tidlig fase, og det er fremdeles knyttet usikkerheter til nytte og gevinster på kort og lang sikt. Forskere på Simula-instituttet påpeker at "kunstig intelligens (KI), og spesielt generativ KI, er en samling besnærende teknologier som, dersom man ikke har god teknologisk innsikt, kan forlede beslutningstakere i alle ledd i organisasjoner til å ta uinformerte vurderinger" [19].
Det er også usikkerheter knyttet til på hvilke områder store språkmodeller kan brukes i helse- og omsorgstjenesten på forsvarlig og hensiktsmessig vis. Foreløpig egner de seg best til språklige og administrative oppgaver med lav risiko. Kvalitetssikring er viktig uansett bruk.
KI-systemer med store språkmodeller som skal brukes til å yte helsehjelp har en høyere risiko. De er mest sannsynlig medisinsk utstyr, og dermed regulert gjennom lov om medisinsk utstyr [20]. Formålet med denne loven er å forhindre skadevirkninger, uhell og ulykker, samt sikre at medisinsk utstyr utprøves og anvendes på en faglig og etisk forsvarlig måte. Per 25. mars kjenner vi ikke til KI-systemer med generative språkmodeller som er CE-merket etter samsvarsvurderingen utført av meldt organ.
KI-forordningen har trådt i kraft i EU med mål om å etablere tillit til bruk av KI i EU og samtidig legge til rette for innovasjon. Forordningen har en risikobasert tilnærming, der kravene til et KI-system bestemmes av risikonivået ved tiltenkt bruk.
For øvrig må brukere så vel som utviklere av KI-systemer som skal anvendes i helse- og omsorgstjenesten i Norge, forholde seg til både generelle og sektorspesifikke regelverk. For eksempel gjelder sektorspesifikke regelverk som norsk helselovgivning, EUs personvernforordning, åndsverksloven og likestilling- og diskrimineringsloven.
Dette kapitlet beskriver både underliggende utfordringer ved store språkmodeller, og risikoer knyttet til bruk i helse- og omsorgstjenesten. Inkluderte risikoer er ikke uttømmende.
[18] Helsedirektoratet har blant annet skrevet om muligheter med store språkmodeller i denne rapporten: Store språkmodellar i helse- og omsorgstenesta