Houd je algoritmes in de gaten!? Houd je algoritmes in de gaten!? Houd je algoritmes in de gaten!?

De analyse van risico's door het gebruik van algoritmes in risicomodellen blijft de gemoederen in Nederland bezighouden. Inhoudelijk lijken discussies langs elkaar heen te lopen. Alleen al over de definitie van een risicomodel lopen de meningen uiteen, evenals over de vraag wanneer algoritmes moeten worden gebruikt en wat geautomatiseerde besluitvorming is.

In de praktijk komen de problemen die gepaard gaan met het gebruik van risicomodellen regelmatig in het nieuws. Voorbeelden zijn er te over, zoals het frauderisicosysteem dat de Belastingdienst gebruikte bij toeslagen. Algoritmes worden vaak aangeduid als 'black boxes', omdat niet zichtbaar zou zijn waarom een risicomodel een bepaalde uitkomst toont. Deze perceptie voedt – logischerwijs – verdere discussie.

In rechterlijke uitspraken zien we terugkomen dat risicomodellen regelmatig onvoldoende inzichtelijk zijn. In een zaak omtrent het Systeem Risico Indicatie (SyRI), een wettelijk instrument voor fraudebestrijding, oordeelde de rechter dat de doelstellingen van SyRI niet in de juiste verhouding staan tot de bijkomende schending van de privacy. Bovendien is een dergelijk model volgens de rechter onvoldoende transparant. Risicomodellen en algoritmes lijken zo complex te zijn, dat het lastig is om de interne logica ervan te volgen.

Maar waar gaat het mis? Het is niet het algoritme of het risicomodel dat per definitie 'fout' is. Het menselijk handelen, zoals bij de keuze voor data-input of bij het onderzoeken van gegenereerde signalen, kan ook problemen veroorzaken. Een risicomodel an sich is niet per se ongrijpbaar of complex, dit heeft meer te maken met de opzet en inrichting van een risicomodel – door mensen.

Het ontwikkelen, beheren en implementeren van een risicomodel binnen technische, wettelijke en ethische kaders is een proces dat niet over een nacht ijs gaat. (H)erkenning van de complexiteit van dit proces is key, evenals het identificeren waar die complexiteit uit voortkomt. Dit is een belangrijke stap om te bepalen hoe met een risicomodel moet worden omgegaan. Het is dan ook begrijpelijk dat het toepassen en controleren van risicomodellen en algoritmes een uitdaging vormt.

Inbreng van voldoende inhoudelijke (domein)kennis is een vereiste om dit proces goed vorm te geven.

Ten eerste is domeinkennis over het toepassingsgebied van belang. Domeinkennis is nodig om te bepalen of het doel van het risicomodel haalbaar is en hoe het doel kan worden bereikt. Daarnaast is domeinkennis vereist om de benodigde data, hypothesen en randvoorwaarden te bepalen, en om uiteindelijk te verifiëren of de uitkomsten van het model juist zijn. Ten tweede is technische kennis nodig voor de ontwikkeling van een algoritme voor een risicomodel; voor het bepalen van het meest geschikte algoritme voor het risicomodel, het analyseren van de vaak grote hoeveelheden data en de uiteindelijke programmering. Ten slotte is juridische kennis nodig over de wettelijke kaders die direct van toepassing zijn op het model, en het gebruik van het model, alsmede de wettelijke kaders en richtlijnen op het gebied van data privacy en mensenrechten. In het verlengde hiervan zijn de ethische kaders relevant met betrekking tot het voorkomen van mogelijke discriminatie, vooringenomenheid of bias.

De samenkomst van al deze kennis bij de ontwikkeling en het beheer van een model of algoritme is van cruciaal belang om te bepalen of een model mag worden toegepast.

Bias en het voorkomen van discriminatie is een veelbesproken onderwerp bij de toepassing van risicomodellen en algoritmes. De maatschappij is terecht kritisch ten aanzien van dit onderwerp. Een belangrijk punt om rekening mee te houden in de publieke discussie en tijdens de ontwikkeling van modellen is dat bias altijd in bepaalde mate onderdeel zal zijn van een risicomodel of algoritme. Dit komt doordat bias niet altijd direct hoeft te zijn, maar ook indirect kan zijn. Indirecte bias betekent dat een kenmerk dat zelf geen directe bias bevat, samenhangt met een kenmerk dat wel bias bevat. De lengte van een cv hangt bijvoorbeeld samen met de leeftijd van een persoon, en de postcode van iemands huisadres kan verband houden met zijn of haar opleidingsniveau, etniciteit of leeftijd. Voor bijna elk kenmerk is er wel een verwant kenmerk te bedenken waarbij er sprake kan zijn van bias. Dit betekent echter niet dat risicomodellen per definitie discriminerend zijn, maar wel dat moet worden stilgestaan bij mogelijke bias en de ethiek die komt kijken bij de toepassing van het model en het effect van bias. Het is van belang deze directe en indirecte bias tijdens de ontwikkeling van een risicomodel te onderkennen en vast te leggen. Dan kunnen de invloed en het gebruik van deze informatie in een algoritme bewust worden geaccepteerd of gemitigeerd.

Om ervoor te zorgen dat bij de ontwikkeling de juiste kennis wordt gebruikt en dat voldoende rekening wordt gehouden met bias, is het van belang goede kaders vast te stellen waarbinnen moet worden geopereerd. Het vaststellen van de kaders van een risicomodel of algoritme is een belangrijke stap om te kunnen beoordelen of een model of algoritme kan worden toegepast en later (nog steeds) passend is. Voor deze beoordeling is het waardevol om een nieuwe set ogen met een frisse blik naar het risicomodel te laten kijken. Een onafhankelijke toets van een risicomodel of algoritme ter onderbouwing van het oordeel is een goed instrument om een solide besluit te nemen om een risicomodel te gaan gebruiken.

De te toetsen kaders kunnen harde eisen bevatten, zoals 'Is er een DPIA^[1] uitgevoerd?' of 'Zijn alle gebruikte persoonsgegevens vastgelegd?', maar ook minder rigide eisen, zoals 'Is het gekozen type algoritme passend?'. Om deze kaders te toetsen is een 'professional judgement' van een auditor of validator vereist. Dit maakt een onafhankelijke toets, ook wel kwaliteitscontrole of modelvalidatie genoemd, net zo complex en minstens zo belangrijk. Daarom is het van belang dat een auditor of validator kennis heeft van en ervaring met het ontwikkelen en controleren van modellen en algoritmes, het toepassingsgebied en de juridische en ethische kaders.

Ook de kaders voor de toepassing of de controle van risicomodellen of algoritmes zijn onderwerp van maatschappelijke discussie. De belangrijkste 'guidance' die hieruit naar voren is gekomen:

• In 2021 is het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) uitgebracht door het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, waarin stil wordt gestaan bij de keuze voor het toepassen van algoritmes en de verantwoorde ontwikkeling en implementatie.
• De Algemene Rekenkamer heeft in 2021 een toetsingskader uitgebracht voor kwaliteitscontrole van algoritmes.
• Richtlijnen vanuit de Office of the Comptroller of the Currency (US) over Model Risk Management die al vele jaren in de financiële wereld op financiële risicomodellen worden toegepast.
  

Deze stukken leveren waardevolle informatie voor het vaststellen van kaders voor de ontwikkeling van modellen en algoritmes en de controle of validatie daarvan.

Het draait allemaal dus, zoals vaak, om de verhouding tussen mens en techniek. Heeft de ontwikkelaar een goed proces opgezet om tot een goed risicomodel te komen? En sluit vervolgens de techniek aan bij het ontwerp, door de mens, en levert het risicomodel de beoogde resultaten op? Deze vragen en overige belangrijke vragen die opkomen tijdens het proces om tot een risicomodel te komen en het (technische) risicomodel zelf kunnen worden verwerkt in een onafhankelijke toets.

Of het nu een onafhankelijke toets, kwaliteitsreview of modelvalidatie wordt genoemd; het beestje moet een naam hebben. KPMG heeft een methodologie ontwikkeld voor het valideren van risicomodellen, zowel het ontstaansproces als de techniek. De methodologie is ontwikkeld op basis van voornoemde guidance, jarenlange ervaring en het uitvoeren van modelvalidaties in verschillende sectoren. KPMG maakt dan ook al geruime tijd gebruik van deze methodologie.

Helaas functioneren risicomodellen, zoals aan het begin van dit artikel is opgemerkt, niet altijd zoals bedoeld. Dit schaadt het maatschappelijk vertrouwen dermate dat het voordeel van het gebruik van een dergelijk risicomodel, verhoogde effectiviteit en efficiency, snel teniet wordt gedaan. Dit ondanks het feit dat het risicomodel juist zou moeten bijdragen aan het maatschappelijk vertrouwen, mede omdat het objectiever zou moeten zijn  dan een volledig handmatige controle. De techniek van een risicomodel of algoritme is echter ook gebaseerd op menselijk handelen, en het is goed dat er gedegen checks and balances worden ingebouwd om te komen tot een zo betrouwbaar mogelijke prestatie van mens en techniek samen.