Wat zijn de benodigde IT-beheersingsmaatregelen voor algoritmes?

In de afgelopen maanden zijn er diverse publicaties voor en over het gebruik van algoritmes uitgebracht. In de serie ‘De burger en klant centraal bij het gebruik van algoritmes‘ worden de zes belangrijkste thema’s uit deze publicaties besproken. Samen leiden ze tot een juist gebruik van algoritmes, waarin de burger centraal staat.

In het eerste artikel bespraken we het belang van een goede inventarisatie van de algoritmes die in uw organisatie gebruikt worden. Inzicht in de algoritmes binnen uw organisatie en het bijbehorende risicoprofiel is een belangrijkste eerste stap. De vervolgvraag is hoe u op basis van deze inzichten moet handelen en wat dit betekent voor het beheer van uw algoritmes en mogelijke risico’s die daarbij komen kijken.

De Algemene Rekenkamer adviseert in haar rapport ‘Aandacht voor Algoritmes’ meer aandacht te hebben voor het functioneren van de zogenaamde IT General Controls (ITGC) rondom algoritmes. ITGC betreffen algemene IT-beheersingsmaatregelen die de betrouwbaarheid en integriteit van IT-systemen in de operatie borgen. Denk bijvoorbeeld aan het beheer van toegangsrechten, het beheerst doorvoeren van wijzigingen of het maken van back-ups. ITGC voor een IT-toepassing bestaan uit een combinatie van technische instellingen en handmatige procedures in de IT-beheerprocessen.

Algoritmes zijn IT-toepassingen (of zijn onderdeel van een IT-toepassing) en het is dan ook evident dat ook voor algoritmes ITGC moeten worden ingericht. Ook hier spelen risico’s zoals ongeoorloofde toegang en foutieve wijzigingen. Dat ITGC ook daadwerkelijk voldoende zijn ingericht op het moment dat een algoritme in gebruik wordt genomen is echter niet vanzelfsprekend. Zoals de Algemene Rekenkamer opmerkt in haar rapport, ligt de focus van veel organisaties nog sterk op exploratie en ontwikkeling van mogelijkheden van algoritmes. Veel organisaties moeten de stap naar professioneel beheer en onderhoud van algoritmes nog maken. Gezien de grote impact die geautomatiseerde besluitvorming door algoritmes kan hebben, is het van belang dat organisaties hier tijdig mee aan de slag gaan en niet wachten tot algoritmes al in productie staan.

Voor reguliere IT-systemen stellen we via de ITGC in de operationele fase zeker dat een systeem goed blijft functioneren. Voor algoritmes is het inrichten van uitsluitend de ‘traditionele’ ITGC echter niet toereikend. Het gebruik van algoritmes introduceert namelijk nieuwe risico’s die slechts gedeeltelijk afgedekt worden door de bestaande ITGC-normenkaders. Niet voor niets onderkent de Algemene Rekenkamer in het toetsingskader van haar rapport naast de ITGC nog vier andere thema’s: sturing en verantwoording, model en data, privacy, en ethiek. Deze thema’s zijn niet alleen relevant tijdens het ontwikkelproces van een algoritme, maar vereisen ook maatregelen tijdens het gebruik. En juist op deze onderwerpen zijn normenkaders in de context van algoritmes nog niet uitgekristalliseerd. We nemen u hier mee in een aantal voorbeelden van aanvullende risico’s voor algoritmes, zoals rondom het model, de data, compliance en ethiek.

Model
Het gebruik van algoritmes voegt een extra dimensie toe aan de gebruikelijke monitoring op beschikbaarheid en prestaties van IT-toepassingen. Omdat algoritmes voorspellingen doen op basis van het verleden, is het noodzakelijk om te monitoren of deze voorspellingen blijven aansluiten op de realiteit. Door veranderingen in de omgeving, of het gebruiken van algoritmes buiten hun originele toepassingsdomein, kunnen de prestaties door de tijd heen verslechteren.

Data
Om algoritmes te blijven verbeteren en in lijn te houden met de veranderingen in de omgeving moeten ze periodiek aangepast dan wel opnieuw getraind worden. Net als tijdens het initieel ontwikkelen van het algoritme is hierbij de kwaliteit van de gebruikte data bepalend voor het goed functioneren van het algoritme. Daarbij moet het begrip kwaliteit veel breder worden begrepen dan we gewend zijn. Niet alleen het ontbreken of foutief zijn van data, maar ook het gebruik van gegevens buiten hun context of het negeren van representativiteitsproblemen in data (resulterend in bias) kan grote invloed hebben op de kwaliteit van algoritmes. Wanneer er sprake is van zelflerende algoritmes zijn dergelijke risico’s uiteraard nog groter.

Compliance en ethiek
Algoritmes worden in toenemende mate gebruikt om besluitvorming gedeeltelijk of in zijn geheel te automatiseren. Dat betekent dat ethische overwegingen die vroeger door een menselijke beslisser werden genomen op een of andere manier verankerd moeten worden in het algoritme. Hetzelfde geldt voor de wettelijke kaders waar de geautomatiseerde beslissing aan onderhevig is. Wanneer een algoritme autonoom beslissingen maakt, speelt dit aspect uiteraard een nog belangrijkere rol. Daarbij geldt dat compliance en ethiek niet een eenmalige actie zijn die je tijdens het ontwikkelproces kunt ‘afvinken’. Zo kunnen aspecten als discriminatie worden vertaald naar concrete prestatie-indicatoren waarop het algoritme tijdens het gebruik gemonitord moet worden. Zodat wordt geborgd dat een algoritme niet onbedoelde of onvoorziene schadelijke gevolgen veroorzaakt.

Het tijdig inrichten van traditionele ITGC is een belangrijke stap om de operationele risico’s van het gebruik van algoritmes te beheersen. Wanneer we het daar echter bij laten, missen we een aantal specifieke risico’s, wat kan leiden tot schijnzekerheid. Het is dan ook van belang dat overheden en bedrijven hun beheersingskaders aanpassen op de unieke eigenschappen van algoritmische toepassingen. Zodat ook risico’s op het gebied van bijvoorbeeld modellen, data, ethiek en compliance aantoonbaar onder controle zijn en blijven. Daarbij staan wij een risico-gebaseerde aanpak voor waarbij de beheersingsmaatregelen per toepassing worden afgestemd op de mate van autonomie, complexiteit en impact van het betreffende algoritme. KPMG beschikt over de juiste kennis en expertise van algoritme-specifieke risico’s en beheersingsmaatregelen. Dit kan u helpen om de eerste stappen te zetten.