Kapittel 6.1 Felles tilnærming til indikator for måling av opplevd brukskvalitet

En sentral utfordring i måling av opplevd brukskvalitet i helsesektoren er å balansere behovet for pre­sise og handlingsrettede analyser med hensynet til respondentbelastning. Korte og standardiserte måle­instrumenter kan gi robuste indikasjoner på overordnet opplevd brukskvalitet, men står i kontrast til mer omfattende spørreskjema som, dersom etterlevelsen er tilfredsstillende, gir bedre grunnlag for å identi­fisere konkrete forbedringsområder lokalt.

Korte, aggregerte indikatorer for kartlegging av brukeropplevelser som SUS og UMUX-Lite er godt dokumentert i forskningen som effektive mål på opplevd brukskvalitet. Studier viser at disse instrumentene har høy reliabilitet og korrelerer sterkt med mer omfattende spørre­skjema, noe som gjør dem egnet som overordnede indikatorer [30]. Studier viser også at SUS og UMUX-Lite korrelerer sterkt med hverandre [26]. Særlig UMUX‑Lite er utviklet for å redusere respondentbelastningen, samtidig som den bevarer stor del av informasjons­innholdet fra mer omfattende målinger. Denne egenskapen gjør den velegnet i kontekster der tids­bruk er en kritisk faktor, slik som i klinisk praksis.

Samtidig viser forskningen at slike overordnede indikatorer i begrenset grad gir innsikt i hvilke forhold ved et system som bør forbedres [30]. Dette er bakgrunnen for at en rekke metoder, som PSSUQ, NuHISS, HSUS og Health‑ITUES, er utviklet med flere delskalaer som måler ulike dimensjoner av bruks­kvalitet, for eksempel systemnytte, informasjonskvalitet, arbeidsflyt og kontroll. Felles for disse er at de mulig­gjør analyser av sammenhengen mellom spesifikke systemegen­skaper og en overordnet vurdering av brukskvaliteten.

Denne typen tilnærming er også godt etablert i forskningslitteraturen gjennom bruk av regre­sjonsana­lyser og strukturelle modeller. For eksempel viser en studie av Health‑ITUES at ulike dimen­sjoner som opplevd nytte, enkelthet i bruk, brukerens kontroll over systemet og arbeidslivskvalitet samlet kan forklare en betydelig del av variasjonen i brukernes intensjon om bruk av et system [40]. Til­svarende viser studier av PSSUQ at de under­lig­gende dimensjonene systemnytte, informasjons­kvalitet og grensesnittkvalitet er stabile og kan brukes til å forklare variasjon i brukeropplevelse på tvers av ulike systemer [41]. Dette illu­stre­rer hvordan delskalaer kan fungere som uavhengige variab­ler i analyser der målet er å identi­fisere hvilke forhold som driver den overordnede vurderingen.

På bakgrunn av dette fremstår en todelt modell som faglig godt begrunnet:

1. én kort, standardisert indikator for overordnet opplevd brukskvalitet,
2. et sett av modulbaserte spørsmål som kartlegger spesifikke egenskaper ved systemet og andre forhold som
   1. enten kan kartlegges på et overordnet nivå
   2. eller i mer detalj ved bruk av et utvidet sett av spørsmål

En slik tilnærming gjør det mulig å kombinere lav respondentbelastning med et analytisk rammeverk som kan identifisere forbedringsområder. Ved å bruke den overordnede indi­katoren som avhengig variabel, og ulike moduler basert på etablerte instrumenter som uav­hengige variabler, kan det gjennomføres regresjonsanalyser som belyser hvilke egen­skaper ved systemet og andre forhold som har størst betydning for brukernes samlede vurdering. Dette legger til rette for mer målrettede tiltak lokalt for å forbedre brukskvaliteten.

En modulbasert tilnærming gir også fleksibilitet. Avhengig av systemets karakter kan man velge relevante dimensjoner, for eksempel:

• samhandling og informasjonsdeling (fra NuHISS)
• pasientsikkerhet og beslutningsstøtte (fra HSUS)
• effektivitet og informasjonskvalitet (fra PSSUQ)

For å kunne måle brukskvalitet på en måte som både gir nasjonal sammenlignbarhet og samtidig støtter lokalt forbedringsarbeid, foreslås det å etablere et modulbasert spørre­instru­ment bestående av en overordnet indikator og et sett av forklarende moduler. Hensikten er å kombinere lav respon­dent­belastning med muligheten til å identifisere hvilke egenskaper ved et system og andre forhold som bidrar til henholdsvis god eller dårlig brukskvalitet.

Overordnet indikator

Påstandene i UMUX-Lite finnes ikke i en validert norsk oversettelse. Helsedirektoratet har i samarbeid med NTNU oversatt påstandene fra engelsk:

• [Systemet] er enkelt å bruke
• [Systemet] er et godt verktøy for meg i min arbeidshverdag

Merk at begrepet 'systemet' er plassert i klammer. Dette innebærer at man i operativ bruk må være bevisst på hvilken kontekst det er man ønsker å måle, og tilpasse ordlyden i påstandene deretter. Eksempelvis kan [systemet] erstattes med for eksempel "det elektroniske pasientjournalsystemet", "kurveløsningen", eller mer overordnede beskrivelser av den digitale arbeidsflaten som helhet.

Respondentene bes ta stilling til i hvilken grad de er enige eller uenige i påstandene, og svarene på disse to påstandene kombineres til én samlet skår. Fordelen er at den krever svært lite tid å besvare, samtidig som den gir et standardisert mål som kan sammenlignes på tvers av systemer, virksomheter og over tid.

En indikator av denne typen kan omtales som en indikator for opplevd brukskvalitet.

Supplerende moduler med kjernespørsmål

En overordnet brukskvalitetsskår gir imidlertid begrenset innsikt i hvorfor et system oppleves som mer eller mindre brukervennlig. For å understøtte lokalt forbedringsarbeid foreslås det derfor å supplere den overordnede indikatoren med et sett av moduler som kartlegger sentrale egenskaper ved systemet. Disse modulene kan brukes som forklaringsvariabler i analyser av sammenhengen mellom ulike systemegenskaper og den samlede brukskvalitetsskåren. Foreslåtte moduler kan omfatte følgende områder:

• Teknisk kvalitet og pålitelighet
• Interaksjonsdesign og brukergrensesnitt
• Arbeidsflyt og effektivitet
• Informasjonskvalitet og tilgjengelighet til informasjon
• Samhandling og informasjonsdeling
• Klinisk beslutningsstøtte
• Pasientsikkerhet og kvalitet i pasientbehandlingen
• Brukerkontroll og feilhåndtering
• Leverandøroppfølging og forvaltning

For hvert område foreslås ett til to kjernespørsmål som kan inngå i et felles minimumssett. Disse spørsmålene skal gi en overordnet vurdering av den aktuelle dimensjonen og kan benyttes i alle undersøkelser. Følgende kjernespørsmål foreslås:

• Teknisk kvalitet og pålitelighet:
  • «Systemet er teknisk stabilt (krasjer ikke og har lite eller ingen nedetid)»
• Interaksjonsdesign og brukergrensesnitt:
  • «Det er enkelt å navigere i (systemnavn)»
  • «Jeg finner raskt frem til den informasjonen jeg trenger på skjermen»
• Arbeidsflyt og effektivitet:
  • «(Systemnavn) hjelper meg å arbeide mer effektivt»
  • «(Systemnavn) passer godt med måten jeg arbeider på»
• Informasjonskvalitet og tilgjengelighet til informasjon:
  • «(Systemnavn) inneholder all relevant informasjon jeg trenger»
  • «Pasientdata (også fra andre virksomheter) er komplette, oppdaterte og pålitelige»
• Samhandling og informasjonsdeling:
  • «(Systemnavn) gjør det enklere å samarbeide med kolleger»
• Klinisk beslutningsstøtte:
  • «(Systemnavn) støtter mine beslutninger uten å styre dem»
• Pasientsikkerhet og kvalitet i pasientbehandlingen:
  • «(Systemnavn) bidrar til å forebygge feil i pasientbehandlingen»
• Brukerkontroll og feilhåndtering:
  • «(Systemnavn) gjør meg oppmerksom på mulige feilregistreringer»
• Leverandøroppfølging og forvaltning:
  • «Foreslåtte forbedringer og endringer i systemet blir gjennomført raskt nok»

Kombinasjonen av en overordnet indikator og et mindre antall kjernespørsmål, gir et kompakt spørresett som kan gjennomføres på kort tid, samtidig som det gir et grunnlag for å analysere hvilke forhold som påvirker den samlede opplevelsen av brukskvalitet.

Tilleggsvariabler for detaljerte analyser

Ved behov for mer detaljerte analyser kan hver modul utvides med tilleggsvariabler. Dette gjør det mulig å tilpasse spørreskjemaet til ulike typer systemer og ulike analysebehov. Et pasientjournal­system kan for eksempel undersøkes ved hjelp av alle modulene, mens et system for klinisk beslutningsstøtte primært vil ha behov for moduler knyttet til beslutningsstøtte, pasientsik­ker­het og brukerkontroll. På tilsvarende måte kan samhandlingsløsninger undersøkes med særlig vekt på samhandling, informasjonskvalitet og arbeidsflyt.

Oppsummert – tre analysenivåer 

Den foreslåtte tilnærmingen legger dermed til rette for tre analysenivåer:

• Bruk av den nasjonale indikatoren isolert:
  • På det første nivået benyttes UMUX-Lite som en nasjonal indikator for opplevd brukskvalitet.
  • Virksomhetene kan gjennomføre lokale målinger kun ved bruk av den nasjonale indikatoren, for å få en indikasjon på hvordan det lokale systemet vurderes av helsepersonell sett opp mot nasjonale sammenlikningsdata, målinger gjennomført andre steder eller tidligere målinger i egen virksomhet.
• Utvidede målinger:
  • På det andre nivået kombineres den nasjonale indikatoren med ett kjernespørsmål fra hver modul for å identifisere sentrale drivere for opplevd brukskvalitet, som kan brukes for å få en videre forståelse av årsakene til at et system oppnår en gitt overordnet vurdering av opplevd brukskvalitet.
  • På det tredje nivået kan mer detaljerte spørsmål innenfor de modulene som er relevante for den aktuelle løsningen aktiveres, for å ytterligere identifisere spesifikke forbedringsområder og etablere en tydeligere problemforståelse.