AI Assurance

AI en AI-oplossingen raken steeds meer verweven met onze organisaties. Dat betekent meer impact, maar ook meer potentiële risico’s en strengere eisen vanuit wet- en regelgeving. Je moet dus als organisatie weten hoe je op het gebied van AI presteert en of je compliant bent. Zijn alle processen en systemen op orde? Zijn de risico’s afgedekt van tools die worden gebruikt en/of gebouwd? Ben je transparant en voorkom je zaken als discriminatie? Het is belangrijk dat zorgvuldig en onafhankelijk te testen.

Met AI Assurance geven we een onafhankelijk oordeel over het functioneren van AI-systemen en de maatregelen die organisaties hebben getroffen om AI verantwoord in te zetten. Dat kan op twee niveaus:

We onderzoeken hoe AI-gebruik is ingebed in de organisatie. Daarbij checken we bijvoorbeeld of rollen en verantwoordelijkheden duidelijk zijn belegd, of er wordt voldaan aan eisen uit de AI Act en of de risico’s van AI proactief worden gemanaged. Daarbij richten we ons op het samenspel tussen technologie, mensen, processen en werkwijzen.

De focus kan ook liggen op individuele AI-systemen. Daarbij kijken we bijvoorbeeld naar de maatregelen die zijn getroffen om de kwaliteit en compliance van het AI-systeem te borgen. Ook kunnen we beoordelen of de uitkomsten van een AI-toepassing in lijn zijn met de doelstellingen en met wettelijke eisen. Onafhankelijke zekerheid over een AI-systeem kan een belangrijke stap zijn van PoC (Proof of Concept) naar een werkende, breder ingezette oplossing.

AI is meer dan technologie. Wat onze aanpak onderscheidt, is dat we niet alleen kijken naar modellen en data, maar juist ook de context óm de technologie meenemen. Wat is de rol van een AI-systeem in het bedrijfsproces? Welke vangrails zijn ingericht? Hoe is het samenspel tussen mens en techniek?  Ook het toetsen van AI is mensenwerk en vereist expertise vanuit verschillende domeinen. Bij KPMG hebben we alle relevante disciplines - data science, audit, IT, wet- en regelgeving, ethiek - in één team ondergebracht. Al in 2019 hielpen we de gemeente Amsterdam met het verantwoord ontwikkelen van algoritmes. Sindsdien scherpen we onze aanpak continu aan op basis van de laatste ontwikkelingen en inzichten. 

Bij een AI Assurance-opdracht geeft KPMG een onafhankelijk oordeel over specifieke AI-systemen of de manier waarop een organisatie met AI omgaat. Daarvoor doorlopen we samen met onze klanten drie stappen, toegesneden op de specifieke risico’s van AI:

Stap 1:

Samen met de klant bepalen we de kaders van het onderzoek. Over welke aspecten is zekerheid gewenst? Praten we bijvoorbeeld over de prestaties van een AI-systeem, of over hoe biased het systeem is? Welke technieken en modellen zijn gebruikt? Over welke technologie praten we? Een relatief simpel classificatiemodel voor het ondersteunen van besluitvorming is wat anders dan een complex LLM-systeem dat zelfstandig beslissingen neemt. Kortom, we bepalen heel precies de scope van de opdracht om tot een heldere en haalbare werkwijze te komen.

Stap 2:

We stellen een toetsingskader vast dat nodig is om deze casus goed te beoordelen. Ook bepalen we welke testwerkzaamheden nodig zijn om ons oordeel voldoende te kunnen onderbouwen. Daarbij maken we gebruik van ons internationaal ontwikkelde ‘Trusted AI Framework’ en de relevante standaarden en wetgevende kaders, zoals de AI Act en ISO42001. We richten ons alleen op de risico’s die er werkelijk toe doen, zodat de werkzaamheden de onderzochte systemen en teams minimaal belasten.

Stap 3:

We voeren de audit uit en rapporteren. We stellen ons daarbij op als de professioneel-kritische auditor die meedenkt waar nodig. Met de combinatie van specialistische AI-kennis van ons team én onze expertise in de auditregels zorgen we voor een grondige analyse. Daarmee gaan we dieper dan een oppervlakkige procesaudit en bieden we onze klanten inzicht in de werkelijke risico’s in en rondom hun AI-systemen.

Om een AI-systeem te laten ‘slagen’ voor een audit is meer nodig dan een goede technische performance. En een effectieve AI governance vereist meer dan een formele toewijzing van AI-rollen in de organisatie. Het (laten) uitvoeren van een AI Assurance-onderzoek zonder de juiste voorbereiding kan dan ook leiden tot teleurstellingen. Voor veel organisaties is het krijgen van AI Assurance daarom een groeipad. KPMG helpt met begeleiding bij het ontwerpen en implementeren van maatregelen en met readiness assesssments om vast te stellen of compliance en risicobeheersing voldoende aantoonbaar zijn om een externe audit te doorstaan. Zodat organisaties doelgericht kunnen toewerken naar het gewenst volwassenheidsniveau van AI-beheersing.