Nytt regelverk för AI får stora konsekvenser inom den finansiella sektorn

Innovation är centralt för både samhälle och näringsliv. Innovation möjliggör i många fall flexibilitet och ökad effektivitet för företag. Innovation kan också bidra till förbättrad arbetsmiljö genom att repetitiva arbetsmoment tas bort. I takt med teknologisk innovation behöver samhället emellertid slå vakt om rättssäkerheten genom att utveckla regelverk för att styra teknikutvecklingen. De senaste åren har en rad regleringsinitiativ som träffar den finansiella sektorn arbetats fram avseende data, informationssäkerhet och IT, inte minst genom Dataskyddsförordningen (GDPR) och DORA (Digital Operational Resilience Act). Dessa regelverk och andra kompletteras nu med nya regler för Artificiell Intelligens (AI) – AI-förordningen. Förordningen ska säkerställa att AI-system som används inom EU är säkra och respekterar grundläggande rättigheter.

AI-förordningen blir tillämplig i sin helhet 24 månader efter ikraftträdandet av akten, det vill säga under 2026, men vissa delar kommer att träda i kraft tidigare. Förordningen är tillämplig på leverantörer och produkttillverkare som tillhandahåller AI-system inom EU, har sitt säte eller verksamhet inom unionen samt för användare som befinner sig i unionen. Även importörer, distributörer och ombud för leverantörer som inte är etablerade i unionen omfattas. Regelverket präglas av en riskbaserad ansats vilket syftar till att främja den teknologiska utvecklingen och förhindra att kostnaderna för att implementera AI-system på marknaden ökar oproportionerligt. AI-system delas in i olika riskkategorier och fastställer krav på användandet av AI, vilket tar hänsyn till vilken riskkategori AI-systemet tillhör. Indelningen baseras på risken som förknippas med den data som systemet samlar in, samt vilka beslut som kan tas med hjälp av datan.

AI-användning som anses utgöra hög risk är exempelvis de system som används i kritisk infrastruktur samt viktiga tjänster inom bank- och försäkringsverksamhet. Andra exempel är när AI-system används i rekryteringsprocesser för att selektera kandidater. AI-system med hög risk måste hanteras på ett effektivt sätt, övervakas, säkerställa god kvalitet i data, ha användningsloggar, vara transparenta och korrekta samt ha mänsklig tillsyn. Förordningen föreskriver även en rätt för berörda att lämna in klagomål och få förklaringar om beslut genomförda av AI-system med hög risk som påverkar de grundläggande rättigheterna.

AI-förordningen kommer att påverka företag på flera sätt. Nedan tar vi upp några konsekvenser som vi menar kommer bli centrala.

Regelefterlevnad. Företagen bör behöva göra anpassningar av intern styrning och kontroll inklusive interna regelverk. Utbildning kommer behövas för att medarbetare ska förstå och använda AI-system korrekt utifrån interna regelverk i verksamheten.

Affärsmodeller och strategier. Företagen bör behöva ompröva hur de använder AI för att hantera risker, digitalisera processer och förbättra kundupplevelse, med utgångspunkt i förordningen, i syfte att öka värdeskapandet för kunder och intressenter.

Förtroende. Företag som uppfyller krav och följer regelverk på ett robust sätt kommer kunna påvisa ett etiskt och ansvarsfullt förhållningssätt till AI, detta torde öka förtroendet hos kunder och intressenter.

Redan nu bör företag påbörja arbetet med att förbereda sig inför de nya reglerna kopplade till utformning och användning av AI-system. Nedan följer några delar som är viktiga.

Roller, ansvar och styrdokument
Inledningsvis bör företag se över roller, ansvar och organisation avseende styrning och kontroll av AI-system, samt börja förbereda sig för det nya regelverket. Vår bedömning är att den nya AI-förordningen kan få genomgripande effekter på företagen, beroende av storlek och komplexitet. I och med regelverkets krav behöver företagen säkerställa kompetens inom bland annat juridik, dataskydd, riskhantering och inköp. Företagen kommer vidare behöva upprätta styrdokument och definiera hur företaget ska kategorisera sina AI-system, baserade på de riskkategorier som beskrivs i förordningen. Därtill ett styrande ramverk för företagets användning av AI innefattande utveckling, driftsättning och underhåll.

Kartlägg, riskbedöm och dokumentera
Företag behöver kartlägga och förstå egenutvecklade AI-system samt de som köpts in och används i organisationen i övrigt. Därefter ska dessa kategoriseras baserat på risknivåerna i AI-förordningen. Indelningen sker efter minimal risk, begränsad eller hög risk samt en kategori för förbjuden användning av AI. I de fall något av företagets AI-system kategoriseras som begränsad eller hög risk behöver företaget se över vilka eventuella förändringar som behöver ske före 2026, alternativt tidigare om AI-systemet är klassat som förbjuden/oacceptabel risk. I anslutning till nämnda kartläggning bör även en gapanalys genomföras för att identifiera områden med bristande efterlevnad utifrån de nya kraven.

Företagen behöver dokumentera och hålla en aktuell förteckning över AI-systemen för att säkerställa ändamålsenlig dokumentation. De bör även upprätta processer för hantering av AI-system och se till att modellerna är transparenta, förklarliga och pålitliga. Viktigt att tänka på är även att utbilda anställda om AI-etik och regelefterlevnad inom området. Skulle det vara så att företaget nyttjar AI-system i relation till konsumenter, så behöver företaget också se över om det krävs ändringar i villkor, integritetspolicy och samtyckesmeddelanden.

En avslutande reflektion är att dessa förberedelser förvisso kan framstå som omfattande, men åtminstone finansiell sektor har funktionella processer för att implementera nya regelverk. En lärdom från tidigare regelverksimplementeringar är att som vanligt börja i god tid, vilket kräver en väl avvägd fingertoppskänsla i verksamheten med stöd från ledning och kontrollfunktioner, inte minst compliance.

Den här artikeln har tidigare publicerats i branschtidningen Compliance Nytt och är författad av Eva Strelin Larsson, Håkan Nilsson och Marie Borisch.

Marie Borisch
Associate, Financial Risk Management
marie.borisch@kpmg.se