色中色

Hoewel zelflerende modellen voordelen bieden ten opzichte van menselijke beslissingen 鈥� zoals effici毛ntie en consistentie 鈥� zijn ze niet neutraal, stelt Hilde Weerts, AI-engineer en PhD-onderzoeker bij de faculteit Mathematics & Computer Science. 鈥淏ij het ontwikkelen van algoritmes worden veel keuzes door mensen gemaakt. Dat kan leiden tot vooringenomenheid en discriminatie van bepaalde groepen. Bovendien worden deze systemen getraind op echte data, waarin vaak al bias zit. Het algoritme neemt die dan over.鈥�

Discriminatie

Er zijn tal van voorbeelden van discriminerende algoritmes. Zo ontwikkelde Amazon een model dat mannelijke cv鈥檚 vaker selecteerde dan vrouwelijke.

鈥淒at kwam doordat in het trainingsmateriaal vooral cv鈥檚 van mannen voorkwamen, omdat er in het bedrijf al veel meer mannen werkten鈥�, legt Weerts uit. 鈥淗et model gebruikte dat om te voorspellen wie de grootste kans had aangenomen te worden.鈥� En daarmee is een belangrijk probleem aangestipt: algoritmes leren van historische gegevens, maar als die geschiedenis oneerlijk was, dan zet je die ongelijkheid voort in het systeem.

Een oplossing ligt minder voor de hand dan we misschien denken. 鈥淢achinelearningsystemen zijn gebouwd om op basis van input de best mogelijke voorspelling te doen. Daarvoor zoeken ze actief naar verbanden tussen variabelen. Zelfs als je informatie zoals gender uit de data haalt, kunnen ze via omwegen toch achterliggende verbanden vinden鈥�, zegt Weerts. 鈥淚n dit geval herkende het model bijvoorbeeld het woord 鈥榳omen鈥� op een cv 鈥� omdat de sollicitant lid was van een 鈥榳omen鈥檚 chess club鈥� 鈥� en gebruikte dat indirect als genderindicator.鈥�

Interdisciplinaire aanpak

In de literatuur is veel te vinden over manieren om bias uit modellen te halen. Toch zijn veel van die methodes niet effici毛nt en schieten ze volgens Weerts hun doel voorbij.

鈥淓r was bijvoorbeeld een algoritme dat bij wijze van spreken een muntje opgooide voor bepaalde beslissingen. Op die manier produceert het model dan wel gelijke uitkomsten, maar voornamelijk omdat het voor alle groepen even slecht werkt 鈥� en dat maakt het niet eerlijker.鈥�

Om te begrijpen wat eerlijkheid werkelijk betekent, dook Weerts in de filosofie. 鈥淚k wilde weten welke argumenten er bestaan voor wat als eerlijk geldt en wat niet.鈥�

Dat was best een stap buiten haar comfortzone als computerscientist, geeft ze lachend toe. Toch is juist die brede blik en interdisciplinaire aanpak volgens haar essentieel om zo鈥檔 complex vraagstuk goed aan te pakken.

In haar onderzoek bekijkt ze bestaande technologische oplossingen vanuit verschillende perspectieven 鈥� van filosofie en recht tot sociale wetenschappen 鈥� en probeert ze te achterhalen welke methodes zinvol zijn, en waar nog belangrijke open vragen liggen.

鈥淰eel van de bestaande methodes worden in de praktijk nog weinig toegepast, omdat er veel twijfel bestaat over hun effectiviteit en wanneer je welke methode zou moeten gebruiken鈥�, legt ze uit. Ze onderzocht hoe we verschillende methodes zo kunnen toepassen dat de wereld er echt eerlijker van wordt.

Metrics

Om te beoordelen hoe eerlijk een algoritme is, worden zogeheten kwantitatieve fairness metrics gebruikt 鈥� meetinstrumenten die in cijfers uitdrukken of het systeem bepaalde groepen bevoordeelt of benadeelt. Er zijn verschillende manieren om dat te doen.

鈥淢别迟&苍产蝉辫;group fairness metrics kijk je bijvoorbeeld naar het selectiepercentage van mannen en vrouwen in de voorspellingen, en wat het verschil daartussen is. Hoe dichter die bij elkaar liggen, hoe eerlijker het model, is het idee鈥�, legt Weerts uit. 鈥淢aar in sommige gevallen is het juist belangrijk dat het vals-negatieve percentage gelijk is: dus de kans dat iemand ten onrechte niet geselecteerd wordt, terwijl die persoon w茅l geschikt was voor de baan.鈥� De cruciale vraag is dan ook: waarom kies je voor het ene meetinstrument en niet voor het andere?

Ongelijkheid rechtzetten

鈥淓igenlijk moet je eerst goed nagaan waarom er een verschil zit in je dataset鈥�, zegt Weerts.

Je kunt pas iets rechtzetten als je begrijpt waar het scheef is gegaan.

Hilde Weerts

鈥淣eem het selectiemodel van Amazon: dat selecteerde vaker mannen dan vrouwen, omdat er in het verleden simpelweg meer mannen aangenomen waren. Maar waar ligt dat precies aan? Hebben er misschien meer mannen gesolliciteerd? Was er sprake van onbewuste bias bij de selectie? Of zijn er maatschappelijke oorzaken, zoals het feit dat er meer mannen met de juiste kwalificaties beschikbaar waren voor die baan?鈥�

Volgens Weerts zijn dit fundamentele vragen. 鈥淓r kunnen veel verschillende redenen zijn voor de ongelijkheid in je data. Die moet je eerst onderzoeken, voordat je kunt bepalen of 鈥� en hoe 鈥� je die ongelijkheid moet corrigeren. Je kunt pas iets rechtzetten als je begrijpt waar het scheef is gegaan.鈥�

Contextafhankelijk

De juridische benadering leverde ook belangrijke inzichten op. 鈥淩echters moeten in de praktijk beoordelen of iets discriminerend is, wat concrete handvatten kan bieden鈥�, vertelt Weerts.

Ze onderzocht hoe discriminatiewetgeving is opgebouwd en aan welke eisen practitioners 鈥� mensen die zulke modellen ontwikkelen en gebruiken 鈥� moeten voldoen. Ook bestudeerde ze jurisprudentie, oftewel de manier waarop rechters in eerdere zaken hebben geoordeeld.

鈥淐omputerwetenschappers willen het liefst precies weten welk meetinstrument ze moeten gebruiken en welke waarde 鈥榞oed genoeg鈥� is. Maar zo werkt het in het recht niet鈥�, legt Weerts uit. 鈥淗et gaat om vragen als: waarom is voor een bepaalde methode gekozen? Had het eerlijker gekund met een andere aanpak? Is er een objectieve rechtvaardiging voor het verschil dat we zien? Er zijn wel richtlijnen, maar over het algemeen is het sterk contextafhankelijk en draait het veel meer om logisch redeneren dan om een getalletje.鈥�

Kritisch denkwerk

Een van haar belangrijkste conclusies is dan ook dat we situaties per geval moeten beoordelen en heel goed moeten nadenken over de keuzes die we maken. Ook is het essentieel om te overwegen welke problemen we 眉berhaupt met machine learning willen oplossen.

鈥淣eem de algoritmes van DUO die moesten opsporen of studenten onterecht een uitwonende beurs kregen鈥�, vertelt ze.

Daarbij nam het model onder andere factoren mee als opleidingsniveau en de afstand tussen het woonadres van een student en diens ouders. Studenten die een mbo-opleiding volgden of dicht bij hun ouders woonden, werden vaker geselecteerd voor controle. Dit zijn juist kenmerken die relatief vaak voorkomen bij studenten met een niet-westerse migratieachtergrond. Het gevolg: deze groep werd aanzienlijk vaker gecontroleerd 鈥� en dat leidde indirect tot discriminatie.

鈥淒e manier waarop de wereld is ingericht, hoe data worden verzameld en welke keuzes mensen maken bij het trainen van een model, be茂nvloeden allemaal de uitkomst. Wie eerlijkere en betere resultaten wil bereiken, moet met al deze factoren rekening houden 鈥� en dat vereist zorgvuldigheid en kritisch denkwerk鈥�, concludeert ze.

Eerlijke algoritmes beginnen dus niet bij techniek, maar bij inzicht, reflectie en de bereidheid om moeilijke vragen te stellen 鈥� en dat is misschien wel de grootste uitdaging van allemaal.