Kapittel 5.1Etablere kvalitetsrammeverk for store språkmodeller for norsk helse- og omsorgstjeneste

Foreslått tiltakseier: Helsedirektoratet i første omgang

I samarbeid med: Helse- og omsorgstjenesten, Folkehelseinstituttet, Helsetilsynet, DSA,  FoU-miljøer, Nasjonalbiblioteket, Digitaliseringsdirektoratet, Norges forskningsråd, Innovasjon Norge, mm.

Relevant for: Helse- og omsorgssektoren

Problem som skal løses: Det er knyttet stor usikkerhet til hva som er tilstrekkelig god kvalitet for å bruke store språkmodeller i helsesektoren, og hvordan dette måles. Evaluering av språkmodeller er komplekst og det finnes for øyeblikket få allment aksepterte metoder for evaluering og testing (benchmarks) av store språkmodeller for helse- og omsorgssektoren. Det gjør det også vanskelig å velge riktig språkmodell å videreutvikle til KI-systemer av god kvalitet.

Forslag: Sektoren utvikler og etablerer felles kvalitetsrammeverk for testing og evaluering av språkmodeller for å bidra til trygg bruk av generative KI-modeller i helse- og omsorgssektor.

Etableringen av kvalitetsrammeverket vil måtte skje i tett samarbeid med flere aktører i helse- og omsorgssektoren, offentlig og privat sektor, forskningssektoren og næringslivet.

Det kan være hensiktsmessig å starte med administrative bruksområder med lav risiko og med grunnleggende evaluering, som er det nederste nivået i Figur 7. Rammeverket kan stegvis utvides til bruksområder av høyere risiko etter hvert som området modnes og EU klargjør både regelverk og standarder knyttet til KI og medisinsk utstyr.

Arbeidet bør omfatte følgende:

1. Identifisere organisasjoner som bør være med i arbeidet og hvem som bør ha ansvar for hva
2. Kartlegge relevante eksisterende tester (benchmarks), rammeverk, beste praksiser og standarder for testing og evaluering av store språkmodeller
3. Systematisere erfaringer fra tilsvarende arbeid i sektoren, inkludert Helsedirektoratets arbeid med KI-tjenester som Helsesvar og Enklere Tilgang til Informasjon (ETI).
4. Stegvis oppbygging og pilotering av rammeverket basert på konkrete bruksområder.

Rammeverket kan omfatte både kvantitative og kvalitative evalueringsmetoder.

For øvrig vises det særlig til avsnitt 4.3.3 og kapittel 4.4