6 Kvalitetssikring og drift

6.1 Forberedelser, test og pilotering

Det er alltid ønskelig og nødvendig at KI-assistenten/-agenten oppfører seg forutsigbart, gir pålitelige svar og fungerer trygt over tid – både teknisk, praktisk og etisk.

Kriterier for å evaluere løsningen bør settes før den tas i bruk, slik som krav til bias, anonymisering, presisjon og tilgjengelighet. Kvalitetssikringen må være en del av forberedelsene, så man ikke tilpasser sine kvalitetskriterier til løsningen i etterkant. Uttesting av løsningen bør starte i liten skala med en avgrenset brukermasse og, om mulig, et smalt bruksscenario som kan utvides over tid.

En god dokumentasjon for valg av kvalitetskriterier man har tatt før man starter kvalitetssikringen er viktig. Dersom man har gjort en god jobb i tidligfase med KI-assistenten så vil man allerede ha dokumentert mye. Denne dokumentasjonen må revideres og detaljeres. Eksempler på valg som må dokumenteres og revisiteres i denne fasen er beskrevet nærmere i kapittel 7 Sjekkliste for innføring av KI-assistent.

Under testing bør man se om løsningen kan benyttes innenfor de tidligere satte kvalitetskriteriene. Det kan da være nyttig å gjennomføre en kritisk gjennomgang av løsningen ved hjelp av en tverrfaglig gruppe, inspirert av prinsippene bak såkalt red- teaming – altså bevisst testing av svakheter fra en angripers perspektiv. Hva man tolererer av feil fra løsningen bør være definert på forhånd. Fullverdig red-teaming vil i tillegg innebære simulering av faktiske angrepsforsøk mot systemet i et kontrollert miljø for å avdekke svakheter utover en konseptuell gjennomgang.

Om løsningen krever at aktivitet logges eller trenger sporbarhet er det viktig at dette også testes i pilotfasen.

Om løsningen krever integrasjoner med andre interne systemer øker dette både kompleksitet og risiko, men også behovet for testing og validering av datakvaliteten i de integrerte systemene.

Uavhengig av kvalitetssikringen i testfasen, hvor de fleste brukerne har et forhold til løsningen, er det hensiktsmessig å kjøre en pilot med litt flere brukere for å avdekke typiske brukerfeil og kunne tilpasse opplæringen av nye brukere til dette.

Som i flyverdenen, der en pilot har en pre-flight-checklist, bør man ha kvalitetssikret datagrunnlaget, definert suksesskriterier og tildelt ansvar for å evaluere pilotresultatene. Det kan også være nyttig å definere stopp kriterier på forhånd. For eksempel: maksimalt 5 % feilrate på fakta, 100 % etterlevelse av tilgangsstyring.

Om man flytter seg fra bruk internt i bedriften til bruk eksternt mot kunder/brukere så anbefales en ny vurdering inkludert testing av blant annet følgende

• Sjekk GDPR og KI-forordningen igjen – hva vil endres og måtte sees på nytt når KI tas i bruk av nye brukergrupper?
• Kontinuerlig testing av transparens og pålitelighet – må noe legges til?
• Følg med på oppdateringer i lovverk.
• Følg med på teknologioppdateringer – vil hele/deler av din KI bli bedre med en ny teknologi? Gjør en analyse og beslutt veien videre.
• Er andre/nye data påkrevet?
• Kontinuerlig overvåkning og vedlikehold av kunnskapsbasen for å sikre at KI forblir presis, konsistent og oppdatert.
• Hvordan motivere brukere til å rapportere feil slik at assistenten kan forbedres.
• Finnes nødvendige tillatelser i kontrakt til å bruke data sendt inn av kunde til å forbedre modeller?

Det finnes tredjeparts uavhengige firma som tar på seg oppgaven å kvalitetssikre KI-assistenter/modeller slik at bedriften kan være trygg på at KI hele tiden utnytter det fulle potensialet og tar ut verdi samt sikre at lover og regler overholdes. Det kommer stadig nye firma på banen som spesialiserer seg på ulike faser av KI bygg, vedlikehold og drift.

6.2 Kontinuerlig opplæring av brukere

Målet med opplæringen bør være at brukerne forstår hvordan løsningen fungerer, hva den kan og ikke kan, samt hvordan man bruker den forsvarlig.

Opplæringen bør gi et godt innblikk i hvordan man stiller gode spørsmål (instruks), hvis løsningen er en KI-assistent, og innblikk i konfigurering og grad av autonomi om den er en KI-agent.

Ofte kan det være nyttig med informasjon om de vanligste feilene man gjør når man instruerer KI-assistenten, og hvordan du unngår dem.

Om man benytter en skybasert modell bør brukerne informeres om hva man aldri skal dele, som taushetsbelagt informasjon eller personopplysninger, uavhengig av om dette er bilder, video eller tekst.

En viktig del av opplæringen bør være knyttet til skepsis. Brukerne må lære å stille kontrollspørsmål om kilder og lenker ved bruk av en KI-assistent, og etterprøve resultater ved bruk av KI-agenter. Det er også nyttig med opplæring i hvordan man kan identifisere KI-generert innhold som ikke er eksplisitt merket med dette.

Om man bruker KI-assistenten til kritiske oppgaver er det lurt å vurdere hvorvidt man trenger å involvere menneskelig verifisering før resultatet deles videre.

Om man har ressurser til det kan opplæringen gjøres praktisk ved at ansatte bruker løsningen til å løse egne oppgaver under veiledning. Det er relevant og effektivt, og vil gi et ekstra par øyne til å vurdere kvaliteten på løsningen.

Som en del av det kontinuerlige forbedringsarbeidet må det fremkomme klart av opplæringen hvem som har ansvar for og hvordan man rapporterer om feil eller underlige svar eller resultater.

6.3 Kontinuerlig forbedring og vedlikehold

Logger gir et viktig grunnlag for kontinuerlig forbedring. Ved å analysere bruksdata og erfaringer fra brukerne, kan virksomheten identifisere hva som fungerer, hva som bør justeres, og hvordan løsningen kan utvikles videre. En slik forbedringssløyfe kan for eksempel bestå av:

• Brukerlogger og erfaringer.
• Analyse og evaluering.
• Endringer og oppdateringer.
• Implementering i drift.

For anvendelser som regnes som høyrisiko etter KI-forordningen, er logging obligatorisk. Dette skal blant annet sikre etterprøvbarhet, sporbarhet og ansvarlighet i løsningen.

Følg med på endringer hos leverandøren. Vurder jevnlig om KI-assistenten fortsatt bygger på riktige data og oppdatert trening. Hvis løsningen benytter tredjeparts språkmodeller eller annen KI-teknologi fra eksterne leverandører, bør man være oppmerksom på når disse modellene oppdateres, re-trenes eller endres. Slike endringer kan påvirke både kvalitet og atferd, og det kan være nødvendig å gjennomføre ny testing, pilotering og kvalitetssikring. I noen tilfeller kan det også være aktuelt å vurdere bytte av modell eller leverandør.

Ved endringer i KI-assistenten bør virksomheten dokumentere hva som er endret og hvorfor. Dette gir historikk og sporbarhet som er viktig både for å forstå utviklingen over tid, og for å sikre læring og kontinuerlig forbedring. Dokumentasjonen bør dekke hva som er oppdatert – enten det gjelder data, modell, funksjonalitet eller integrasjoner – og begrunnelsen for endringen.

En løsning er sjelden dårligere enn den dagen den tas i bruk. Datakvalitet, språkmodell og brukerkompetanse er alle komponenter i løsningens kvalitet. Kontinuerlig monitorering av modellen ytelse og arbeid med å forbedre modellen, datakvaliteten og brukerkompetanse vil alle gi resultater i det kontinuerlige forbedringsarbeidet og forhindre modell-drift (at modellen forringes over tid grunnet utdaterte treningsdata og dårlig datakvalitet)

6.4 Robuste og motstandsdyktige KI-systemer

For å sikre trygg bruk av KI-assistenter må virksomheter tenke forbi klassisk datasikkerhet og anvende en proaktiv systemisk tilnærming til sikkerhet. Robusthet handler ikke bare om teknologi, men om evnen til å tåle feil, tilpasse seg og håndtere trusler før de blir alvorlige.

KI-assistenter kan introdusere nye angrepsflater, særlig når de kobles til interne systemer, dokumenter og brukernes instruksjoner.

Proaktiv trusselidentifisering og -modellering

Truslene kan omfatte forsøk på å sabotere tjenesten, manipulere treningsdata (dataforgiftning) eller utnytte svakheter i modellen til å hente ut sensitiv informasjon. Selv om det ikke er mulig å eliminere alle risikoer, bør ledere og tekniske ansvarlige være forutseende, etablere gode rutiner for overvåking og skape en kultur for læring og justering. Det gjør virksomheten bedre rustet til å håndtere uforutsette hendelser.

Virksomheten bør ha en proaktiv tilnærming til disse truslene, og vurdere å ta i bruk metoder som:

• Strukturert trusselmodellering: Tenk som en angriper. Identifiser svake punkter i arkitekturen gjennom hele livssyklusen til KI-assistenten, ikke bare før assistenten settes i drift. Vurder spesifikke trusler mot KI-modeller, slik som:
• Instruksjonsinjeksjon (Prompt Injection): Manipulering av input for å få modellen til å utføre utilsiktede handlinger eller avsløre sensitiv informasjon.
• Dataforgiftning (Data Poisoning): Innføring av skadelige data i treningssettet for å kompromittere modellens atferd eller nøyaktighet.
• Modellomgåelse (Model Evasion): Utforming av input som får modellen til å feilklassifisere eller produsere feil resultat.
• Modelltyveri (Model Stealing) eller Medlemskapsinferens (Membership Inference): Forsøk på å stjele modellen eller identifisere om spesifikke data var en del av treningssettet.
• Red-teaming: La en uavhengig gruppe aktivt forsøke å utfordre og kompromittere KI-løsningen med mål om å finne svakheter. Dette inkluderer å teste mot kjente angrepsvektorer for KI-systemer.

Disse metodene gjør det lettere å avdekke mulige angrep, manipulering eller feilvurderinger før KI-assistenten tas i bred bruk.

Kontinuerlig overvåkning og kontroll:

Det er viktig å raskt kunne oppdage om noe galt er i ferd med å skje. Det anbefales derfor å innføre robuste systemer for logging, varsling og tilbakemelding spesifikt for KI-relaterte hendelser (f.eks. uvanlige instrukser, uventet modellatferd, forsøk på dataekstraksjon). Disse gir grunnlaget for å oppdage og reagere på uønskede hendelser i tide.

Etabler en dedikert plan for hendelseshåndtering som dekker KI-spesifikke scenarioer. Hvem gjør hva hvis en KI-assistent blir kompromittert eller begynner å oppføre seg skadelig?

Dersom en KI-assistent er involvert i kritiske prosesser så sørg for at det finnes mekanismer for menneskelig overstyring og kontroll som et sikkerhetstiltak.

Kultur for robusthet og læring:

Selv med gode forberedelser vil uforutsette situasjoner kunne oppstå. Det er viktig å ha et rammeverk og en kultur som tillater raske tilpasninger. Åpenhet om feil, læring fra hendelser og kontinuerlig forbedring bør være en del av arbeidsmetoden. Dette inkluderer å oppdatere trusselmodeller og sikkerhetstiltak basert på nye trusler og sårbarheter som identifiseres.

Tabell 11 viser eksempler på hvordan man systematisk kan vurdere svakheter i ulike grensesnitt, og hvordan man kan teste robustheten i praksis. Tabellen inkluderer hvilke nivåer av KI-assistenter som vanligvis berøres av de ulike risikoområdene.

Tabell 11 Eksempel på trusselmodellering og red-team simuleringer

Trusselmodellering og simulering bør være en del av standard praksis i utvikling og vedlikehold av KI-assistenter. Slike tester gjør det mulig å identifisere og redusere risiko før sårbarheter utnyttes – og gir virksomheten bedre grunnlag for å skape robuste, trygge løsninger.