God AI-governance

Aller først: Governance handler om styring og kontroll. Det er et vidt begrep som omfatter både styringssystemer og -strukturer. Et godt styringssystem legger grunnlaget for å ta i bruk AI på en sikker måte i hele organisasjonen. Det er viktig å understreke at governance ikke skal hindre bruken av AI, men heller legge et grunnlag for økt bruk av AI med lavere risiko.

Derfor vil aktører med veletablerte risiko- og internkontrollsystemer ha en fordel – de kan tilpasse det eksisterende styringssystemet sitt. Men disse bør allikevel tilpasses. Hvorfor? Fordi bruken av AI krever:

• Mer dokumentasjon og flere metoder for å kommunisere hvordan AI-systemet påvirker kunder og/eller ansatte

• God datahåndtering 

• Nye risikovurderinger

• Vurdering av indirekte diskriminering og fairness

• Økt oppfølging av modellens ytelse 

Hvor skal du begynne? Vi anbefaler å starte med å kartlegge gap i styringssystemet – da vet du hvor mye arbeid som må legges ned for å effektivt ta i bruk AI på en ansvarlig måte.

Det er viktig å forstå den reelle risikoen ved å bruke AI på et område. For å forstå risikoen og hvilke styringsmekanismer som bør implementeres må du ha gode metoder for risikovurdering og nok kompetanse. I tillegg må forretnings-, kontroll- og teknologimiljøene jobbe sammen.

Så, hvor og hvordan skal du bruke AI? Er du forberedt for konsekvensene, dersom modellen feiler? Har du gjort riktige vurderinger og vurdert hvor mange mennesker som i så fall blir påvirket?

Gjør en analyse: Hva er verst tenkelige utfall? Kan mislykket bruk eller implementering føre til at viktige prosesser stoppes? Er det omdømmerisiko? Juridiske konsekvenser? Eller er de verst tenkelige konsekvensene tålelige?

La oss ta et eksempel: Du skal implementere kunstig intelligens i en kjerneprosess i banken du jobber i. Dette vil påvirke store deler av kundemassen. I dette scenarioet er det en naturlig høyere risiko enn dersom du skulle brukt AI kun til å analysere noe internt i selskapet som ikke påvirker større beslutninger. I disse tilfellene, der det er risiko for at kjerneprosesser eller store deler av kundene eller interessenter påvirkes, må du følge opp bruk av AI-modellen mer enn dersom den reelle konsekvensen ved feiling ikke er betydelig. 

Finansforetak er allerede omfattet av en rekke lover som stiller krav til identifisering og håndtering av eksponerte risikoer. De europeiske tilsynsmyndighetene, EBA og EIOPA, har i tillegg gitt ut rapporter som fastsetter prinsipper som bør legges til grunn for AI-governance. Disse gjør at norske tilsynsmyndigheter vil følge opp hvordan foretak tar i bruk og styrer risiko ved bruk av AI.

AI Act pålegger selskaper som bruker AI på høyrisikoområder til å gjøre tilpasninger i blant annet kjøps-, utviklings- og oppfølgingsprosesser. De må møte nye krav, og derfor må selskapene bestemme seg for hvilket ambisjonsnivå de har innen AI og forretning. Du vil kontinuerlig møte nye krav, uavhengig om du utvikler AI-systemet selv, om du kjøper det inn og bruker som det er, eller om du kjøper inn et system og endrer på det.

Du må gjennomføre samsvarsvurderinger før AI-systemet blir tatt i bruk, og dette kan du gjøre enten gjennom en intern gjennomgang eller ved hjelp av en ekstern part, avhengig av bruksområdet. Samsvarsvurderingen skal bekrefte at du følger kravene ditt selskap er underlagt. Det gjør også at selskapet blant annet må dokumentere utviklingsprosessen, oppfølgingstiltakene og risikovurderingene.

I tillegg må du ha en plan for hvordan du fanger opp risiko for brudd på helse-, sikkerhets- eller grunnleggende rettigheter. Ikke minst også hvordan du melder inn om det skulle skje. Det har kommet flere tillegg til AI Act og loven tilpasses løpende for å tydeliggjøre gjeldende krav. 

Mange opplever at det er vanskelig å slå fast ambisjonsnivå og risikoappetitt for AI. Det er viktig å ha et bevisst forhold til hvilke bruksområder som prioriteres for å slippe å bruke mye ressurser på områder av lav verdi. Andre utfordringer kan være testing og fastsettelse prinsipper for vurdering av fairness og indirekte diskriminering. Regelverket fra EU er i dynamisk utvikling, og det er fremdeles uklart nøyaktig hva de fulle virkningene vil være.

Det er viktig at AI Governance ikke frakobles, men heller integreres i selskapets eksisterende styringssystemer. For å lykkes i oppfølgingen må du sikre at alle ansatte, uavhengig av ansvarsområde, har den riktige kompetansen for å utføre sine oppgaver. Fordi vi alle har ulikt kompetansenivå rundt kunstig intelligens er dette viktig å prioritere.

Men hvordan skal selskaper i finanssektoren gå frem? Lovpålagte styringssystemer og prinsipper for risikovurdering eksisterer allerede.  Når AI skal integreres må systemer og prinsipper tilpasses, fordi kunstig intelligens bringer med seg en ny type risiko.

For eksempel må du avgjøre formålet med implementeringen: Har du kjøpt en høyrisiko AI-modell iht. AI Act og skal endre denne? I så fall kan du regne med å møte på like strenge krav som om du utvikler den selv. Du bør ha mekanismer for å klassifisere modellen så tidlig som i innkjøpsprosessen. Disse skal hjelpe deg med å sørge for riktig oppfølging når tiden kommer for å bruke den. Uventede modellendringer kan også skje, og derfor må du ha på plass prosesser som fanger opp forandringer i for eksempel data eller bruksformål. Et nytt bruksområde kan bety nye risikofaktorer som kan kreve andre kontrolltiltak.

Store virksomheter som gjør mye analysearbeid eller har mye data, som for eksempel bank- og forsikringsbransjen, verdipapirforetak, kraft og telekom, har særlig stort potensiale for å finne gode bruksområder innen AI. I tillegg er sektorer med mange eiendeler og fysiske gjenstander attraktive. Disse bør fokusere på å sikre at utvikling, kjøp og bruk av kunstig intelligens gjøres effektivt og med minimal risiko.

Klarer du å nå ut til kunden på en måte tilpasset deres behov og gjør treffsikre risikovurderinger og analyser, har du muligheter for vekst. Ivaretakelse av opplysningsplikter overfor forbrukerne samtidig som de gode styringsmekanismene er på plass kan effektivisere prosesser og samtidig skape en bedre kundeopplevelse.

Jeg anbefaler å kartlegge gap i styringskulturen og etablere effektive prosesser for kost-nytte-vurderinger og klassifiseringer i bruksområdene. Det kan også være nyttig å gjennomføre to piloter med ulik risikoprofil for å få best og mest mulig innsikt i hvordan styringssystemet bør tilpasses – dette gjelder uavhengig av om risikoen er lav, middels eller høy.