Kritische theorie en de toeslagenaffaire: een oplossing voor geautomatiseerde discriminatie?

De toeslagenaffaire

Voor de opsporing van fouten in aanvragen voor kinderopvangtoeslag gebruikte de Belastingdienst een zogeheten risicoclassificatiemodel (kortweg ‘risicomodel’). Het risicomodel bestond uit een algoritme dat voor elke aanvraag een risicoscore vaststelde. Deze risicoscore werd vervolgens door ambtenaren gebruikt als selectiemiddel voor extra controles. De geautomatiseerde opsporing van fouten bleek echter gebaseerd te zijn op ingebedde vooroordelen, waardoor burgers zonder Nederlandse nationaliteit sneller als potentiële fraudeurs werden aangemerkt. Het risicomodel was met andere woorden niet objectief: tot medio 2018 was een belangrijke indicator in dit model het al dan niet hebben van de Nederlandse nationaliteit. Door het gebruik van deze indicator kregen niet-Nederlanders een hogere risicoscore dan Nederlanders. Volgens de Autoriteit Persoonsgegevens staat dit gelijk aan discriminatie, specifieker aan profilering op basis van nationaliteit. [1]

Naast deze ontoelaatbare profilering bleek het model burgers met lage inkomens relatief hoge risicoscores te geven. [2] Deze oververtegenwoordiging van lage inkomens wijst op een zogenoemde ‘selectiebias’ in het model: als het model voorspelde dat bij lagere inkomens een grotere kans bestond op fouten, dan werden vooral deze aanvragen gecontroleerd. De facto werd inkomen dus, net als nationaliteit, als indicator gebruikt. Dit leidde er vervolgens toe dat vooral aanvragen van burgers met lage inkomens werden gecorrigeerd. Omdat het model weer getraind werd met die uitkomsten, werd er steeds verder ingezoomd op lage inkomens. Het zelflerende algoritme dat aan het model ten grondslag lag fungeerde dus als een fuik, omdat het selectiecriterium zichzelf steeds weer bevestigde. Als gevolg van deze fuikwerking richtte in de toeslagenaffaire de macht van de overheid zich steeds meer op burgers uit een specifieke sociale groep, terwijl andere burgers stelselmatig werden ontzien. Deze sociale groep, die bestond uit huishoudens met een inkomen van twintigduizend euro of lager per jaar, vormde een duidelijke minderheid. [3]

Het schrijnende onrecht in de toeslagenaffaire maakt duidelijk dat ons bestuurlijke systeem in moreel opzicht heeft gefaald. Volgens Amnesty International zijn tienduizenden ouders, verzorgers en kinderen het slachtoffer geworden van rigide controles door de Belastingdienst. Zo kregen ouders in eerste instantie geen enkele inzage in hun dossier en moesten zij forse bedragen terugbetalen. Omdat er volgens de Belastingdienst sprake zou zijn van opzet of grove schuld, kwamen zij bovendien niet in aanmerking voor betalingsregelingen, schuldvermindering en schuldsanering. [4] Om hun recht te halen waren de slachtoffers vervolgens aangewezen op ‘kafkaëske juridische procedures’, die nauwelijks uitzicht boden op genoegdoening. [5] Een belangrijk probleem was dat ambtenaren niet in staat bleken om hun besluiten helder uit te leggen: het risicomodel was ondoorzichtig en mede daardoor werden fundamentele rechten van burgers geschonden. Met andere woorden, het risicomodel was te complex om door zijn gebruikers te worden begrepen en bijgevolg werkte het discriminatie in de hand. Verder bleef, zoals ook wetenschappers Derk Venema en Iwan Wopereis constateren, de rechtspraak ernstig in gebreke: ‘in het kielzog van de Belastingdienst toonde vooral de hoogste bestuursrechter door zijn summiere en met louter algemeenheden onderbouwde uitspraken geen interesse in de belangen en de standpunten van de procederende burgers, wier belangen door die uitspraken nu juist op grove wijze werden aangetast.’ [6]

Onderdrukte belangen

Volgens Feenberg spelen waarden een belangrijke rol bij het ontwerpen van technische instrumenten. Hij onderscheidt enerzijds de waarden van deskundigen die verantwoordelijk zijn voor het ontwerp, en anderzijds de waarden van leken die – bijvoorbeeld als arbeiders, gebruikers of consumenten – in de praktijk met de effecten van de ontworpen instrumenten geconfronteerd worden. De eerstgenoemde waarden worden uitgedrukt in de heersende technische codes, die de belangen van de deskundigen weerspiegelen. Deze waarden omvatten de eerdergenoemde vooroordelen en ideologische principes. De waarden van leken worden doorgaans echter niet meegewogen, omdat zij op het eerste gezicht de belangen van de deskundigen ondermijnen. In de praktijk worden de belangen van deze leken onderdrukt, waardoor – aldus Feenberg – de inbedding van humanistische waarden in technische ontwerpen wordt bemoeilijkt. Volgens deze zienswijze wordt de naleving van ethische principes voor het ontwerp van algoritmen vooral belemmerd doordat leken niet participeren in dit ontwerp.

Ook in de neoliberale, eenentwintigste-eeuwse samenleving is volgens Feenberg dus nog sprake van systematische sociale onderdrukking. Deze onderdrukking wordt bestendigd door een asymmetrische machtsverhouding tussen deskundigen en andere sociale groepen. Beleidsmakers, managers en technische experts kunnen tot deze deskundigen worden gerekend. Maar in de toeslagenaffaire stond zelfs de hoogste bestuursrechter in een sterk asymmetrische machtsverhouding tot de slachtoffers, zoals Venema en Wopereis laten zien. [12] Het ontwerp van algoritmen voor de opsporing van fraude wordt, net als het ontwerp van elke andere technologie, sterk beïnvloed door een dergelijke machtsverhouding. De keuze voor een specifiek ontwerp wordt immers gemaakt op basis van een technische code die door deskundigen in stand wordt gehouden. Zo bepalen beleidsmakers wat onder fraude verstaan wordt en hoe deze opgespoord moet worden, zonder dat hier brede maatschappelijke inspraak voor nodig is. Technische experts beschikken over veel meer kennis over de werking van algoritmen dan de leken over wie deze algoritmen een oordeel vellen. Voor managers, die sturing geven aan het ontwerp en daarmee de schakel vormen tussen beleidsmakers en technische experts, geldt hetzelfde.

Zoals gezegd kan volgens Feenberg technologie gedemocratiseerd worden als de interventie van onderdrukte belangen wordt gestimuleerd. Dit doel kan volgens hem bereikt worden wanneer deskundigen een zogeheten vernieuwende dialoog aangaan met leken. Door middel van deze dialoog kunnen waardenconflicten die bij het ontwerpen van algoritmen ontstaan worden blootgelegd, en vervolgens ter discussie worden gesteld. Feenberg ontleent het begrip ‘vernieuwende dialoog’ aan de techniekhistoricus Arnold Pacey, die in zijn boek The Culture of Technology bespreekt hoe creatieve vernieuwing systematisch onderdrukt wordt wanneer een bureaucratisch, lineair perspectief op technologische ontwikkelingen prevaleert. [13] Een vernieuwende dialoog is volgens Pacey een dialoog tussen leken en deskundigen, die als doel heeft om creatieve technische vernieuwing tot stand te brengen. Feenberg integreert dit concept in zijn kritische theorie en beschouwt het als een middel om een democratische transformatie van technologie tot stand te brengen.

Democratische transformatie

Hoe zou vervolgens, voortbordurend op Feenbergs kritische theorie, een democratische transformatie van het risicomodel tot stand kunnen komen? Hiervoor is in ieder geval een interventie van onderdrukte belangen nodig: dit betekent dat de slachtoffers van het discriminerende algoritme moeten participeren in het ontwerp van een verbeterde versie. Om dit doel te bereiken, zouden de deskundigen die verantwoordelijk zijn voor het ontwerp – dat wil zeggen beleidsmakers, managers en technische experts – een vernieuwende dialoog moeten aangaan met de slachtoffers. In deze dialoog zullen specifiek de bovengenoemde waardenconflicten aan de orde moeten komen. Op deze wijze kunnen de deskundigen zich bijvoorbeeld bewust worden van de vooroordelen die zij hebben laten meewegen in het ontwerp. Daarmee is in ieder geval een eerste stap gezet naar het uitbannen van deze vooroordelen. Daarnaast zullen de deskundigen bereid moeten zijn om hun vooroordelen niet langer te laten meewegen in de keuze voor een aangepast ontwerp. Als zij in gesprek treden met burgers die een directe ervaring hebben gehad van de discriminerende werking van het risicomodel, zou deze bereidheid kunnen toenemen. Een verbeterd ontwerp houdt in dat gevoelige persoonskenmerken, zoals nationaliteit en inkomen, niet langer gebruikt worden voor het berekenen van risicoscores.

Een dialoog tussen deskundigen en leken biedt verder de mogelijkheid om de spanningen tussen het streven naar kapitalistische efficiëntie en de ethische principes van transparantie en menselijke autonomie bloot te leggen. Zo kunnen deskundigen, door in gesprek te gaan met zowel gebruikers als slachtoffers, zich ook bewust worden van de gevaren die in de ontwikkeling van zelflerende algoritmen besloten liggen. Specifiek zullen deskundigen door een terugkoppeling ‘vanuit het veld’ beter kunnen inzien dat zelflerende algoritmen buitengewoon complex en ondoorzichtig zijn en afbreuk doen aan transparantie en menselijke autonomie. Dit besef kan leiden tot een betere afweging: het waarborgen van non-discriminatie vereist het ontwerp van transparante algoritmen die de menselijke autonomie niet aantasten, en bijgevolg het stellen van grenzen aan de automatisering van taken waarvoor intelligentie nodig is. Anders gezegd, dit besef noopt tot het openbreken en veranderen van de heersende technische code, volgens welke de kostenefficiënte inzet van middelen nog steeds de hoogste prioriteit heeft. In plaats daarvan zal de technische code meer gewicht moeten toekennen aan transparantie en menselijke autonomie.

Verder biedt de dialoog de mogelijkheid om de uitwerking van de waarde betrouwbaarheid onder de loep te nemen. Door een terugkoppeling vanuit het veld zullen deskundigen beter kunnen inzien dat een zuiver instrumentele uitwerking van de waarde betrouwbaarheid niet volstaat. Het mag bijvoorbeeld verondersteld worden dat de Belastingdienst het risicomodel succesvol heeft getest voordat het in gebruik werd genomen. Daarmee kon echter niet worden voorkomen dat burgers uit gemarginaliseerde sociale groepen het slachtoffer werden van geautomatiseerde discriminatie. Ook dit besef kan leiden tot een betere afweging. Om geautomatiseerde discriminatie te bestrijden is het niet voldoende om te eisen dat het risicomodel altijd moet doen waar het voor gemaakt is. De waarde betrouwbaarheid kan alleen adequaat worden ingebed, als zij als volgt wordt uitgewerkt: het model moet altijd aan de voorwaarde voldoen dat het niet per abuis discrimineert.

Ten slotte moet worden opgemerkt dat, om een algoritme als het risicomodel te transformeren tot een niet-discriminerend algoritme, ook ingezet dient te worden op onderwijs: zowel de gebruikers – dat wil zeggen de opsporingsambtenaren – als de burgers over wie het model beslissingen neemt moeten voldoende kennis verwerven over de werking ervan. In het geval van een algoritme voor de opsporing van fraude kan dit riskant zijn: als het in alle openheid ontwikkeld wordt en de werking ervan door iedereen volledig begrepen wordt, is ook de kans groot dat fraudeurs de opsporingsmethoden kunnen omzeilen. Er zal dus gezocht moeten worden naar een manier om een dialoog mogelijk te maken, zonder afbreuk te doen aan de effectiviteit van het risicomodel. In deze dialoog zal in ieder geval de potentieel discriminerende werking van het algoritme aan bod moeten komen.