Bias is een blijvertje

De persoonlijke blog van Reinoud Kaasschieter | The personal blog of Reinoud Kaasschieter

Post

This text is only in Dutch.

De mens en de macrokosmosDe discussies rondom de ethiek van Artificiële Intelligentie (AI) richten zich de laatste tijd vooral op twee onderwerpen: bias en privacy. Bias zijn vooroordelen die ontstaan in datasystemen. Wanneer deze vooroordelen zich richten tegen bepaalde bevolkingsgroepen, ligt discriminatie op de loer. Daarom wordt veel aandacht en tijd besteed om bias in data te voorkomen. Maar wat moet je doen wanneer dat niet gaat lukken?

Biasvrij maken

Data-analisten besteden veel aandacht om bias uit data te verwijderen. Er wordt veel onderzoek gedaan naar methodes om bias in data te detecteren. En er is tooling ontwikkeld om bias in data te ontdekken en te verwijderen. Dit gebeurt door de data te schonen. De aandacht richt zich dan vooral op data die ervoor kunnen zorgen dat het algoritme gaat discrimineren. Zo kunnen we bijvoorbeeld gegevens over geslacht of gender uit de dataset verwijderen. Wat niet in de dataset aanwezig is, kan ook niet verkeerd worden gebruikt. Maar algoritmes kunnen ook vooroordelen die in de data zijn verborgen eruit pikken en gebruiken. Daarom suggereren anderen dat we meer gebruik moeten maken van biasvrij kunstmatige data (synthetic data). Deze data generen we zelf, zonder de biases uit de buitenwereld over te nemen. Maar we moeten een ding niet vergeten: het bias-vrij of bias-arm maken van data is en blijft mensenwerk. Het genereren van synthetische data blijft mensenwerk. En al de beslissingen die gepaard gaan bij het bias vrijmaken, zijn weer onderworpen aan menselijke vooroordelen die we allemaal hebben. Maar we moeten altijd ons uiterste best doen om onze data zo vrij van vooroordelen te maken als mogelijk. Ook al weten we dat dit nooit helemaal kan lukken.

Andere bronnen van bias

Al lang voor de opkomst van artificiële intelligentie bestond het begrip ‘bias’ in de statistiek. Hier verwijst bias naar een fout in het experimentontwerp of het gegevensverzamelingsproces, waardoor resultaten worden gegenereerd die de populatie niet nauwkeurig weergeven. In de medische wereld wordt gezegd dat bias kan optreden vanaf het moment van het formuleren van de onderzoeksopdracht, tot het presenteren van de onderzoeksresultaten. Het gaat dus niet alleen om de kwaliteit van de data en de manier waarop deze data worden gebruikt. Het gaat om het hele proces van definitie, ontwerp tot en met presentatie en gebruik. Bij bias in AI is het eigenlijk niet anders. Binnen het hele proces om een artificieel intelligent systeem te bouwen, kunnen vooroordelen binnensluipen.

In de vakliteratuur worden veel verschillende bronnen van bias onderkend. Iedere onderzoeker heeft wel zijn eigen lijstje. Ik ga hier niet proberen een complete lijst te presenteren. Laat ik me beperken tot enkele voorbeelden van vooroordelen in AI, die naast allerlei statistische biases voorkomen:

  1. Reporting Bias: Rapportagebias (ook bekend als selectieve rapportage) vindt plaats wanneer slechts een selectie van resultaten of uitkomsten wordt gebruikt.
  2. Automation Bias: Geautomatiseerde vooringenomenheid is de neiging van mensen om de voorkeur te geven aan resultaten of suggesties die worden gegenereerd door geautomatiseerde systemen.
  3. Selection Bias: Selectiebias vindt plaats wanneer gegevens worden gekozen op een manier die niet overeenkomt met de gegevensdistributie in de echte wereld.
  4. Overgeneralization Bias: Overgeneralisatie treedt op wanneer u aanneemt dat wat u in uw dataset ziet, is wat u zou zien als u in een andere dataset zou kijken.
  5. Group Attribution Bias: Mensen hebben de neiging om een hele groep te stereotyperen alleen vanwege de acties van een paar individuen binnen de groep.
  6. Implicit Bias: Impliciete vooringenomenheid treedt op wanneer veronderstellingen worden gemaakt op basis van de eigen persoonlijke ervaringen die niet noodzakelijkerwijs meer in het algemeen van toepassing zijn.

Dit zijn nog maar zes vormen van menselijke vooroordelen die in datasystemen kunnen binnensijpelen. Deze vormen van bias zijn moeilijk weg te werken, vooral ook omdat ze verborgen kunnen zijn doordat de bron van onze data al gebiased is. Of omdat de mensen die de data genereren, verzamelen, selecteren en schonen behept zijn met allerlei vooroordelen. Omdat er zo veel soorten vooroordelen zijn en zo veel bronnen van bias, is het bijna onmogelijk data sets te maken die vrij zijn van bias. We zullen er uiteindelijk mee moeten leren leven. En andere maatregelen treffen waarmee we de consequenties van vooroordelen in data kunnen verminderen.

Leren leven met bias

Op een of andere manier zullen we dus moeten leren leven met vooroordelen in onze systemen. Natuurlijk moeten we er alles aan doen om deze vooroordelen te vermijden, maar we kunnen er niet vanuit gaan dat we tot biasvrije systemen kunnen komen.

De meest aanbevolen praktijk is om tijdens het ontwikkelings- en productieproces de ‘mens in de lus’ (‘human in the loop’) te plaatsen. En diverse, interdisciplinaire ontwikkelingsteams op te zetten met ethische reflectie en inclusieve participatie. Maar zonder de juiste ‘empowerment’, met name de bevoegdheid managementbeslissingen te blokkeren, kunnen diverse teams er al gauw alleen voor de bühne zijn. Al met al zijn diverse teams een noodzakelijke voorwaarde om bias te bestrijden, maar het is niet voldoende.

Daarom moeten we extra maatregelen nemen om met vooroordelen en bias om te gaan in onze systemen. Laat ik vier punten noemen die naast de maatregelen voor het vergroten van de datakwaliteit genomen moeten worden:

  1. Pas risicomanagement toe: Onderken dat datasystemen risico’s in zich herbergen. Deze risico’s moeten woorden geïnventariseerd en gemitigeerd. Beperk u niet alleen tot de risico’s voor de organisatie en de medewerkers, maar betrek in de analyse ook maatschappelijke en persoonlijke risico’s van mensen waarover het datasysteem beslist. Binnen risicomanagement is het vermijden van risico’s de beste strategie, dus het vermijden van bias is toch het beste wat je kan doen. Alleen wanneer de kosten van het voorkomen van bias meer zijn dan de schade die door bias kan ontstaan, kan een andere afweging worden gemaakt.
  2. Zorg voor uitlegbaarheid: explainability betekent niet alleen dat datagedreven beslissingen voor data-analisten en statistici begrijpelijk moeten zijn, maar vooral voor degene die het betreffen. Door te weten wanneer beslissingen vooroordelen bevatten, kunnen ze worden onderkend en vermeden. Zonder uitlegbaarheid is het moeilijk om vooroordelen in algoritmes en datamodellen op te sporen. Uitlegbaarheid zal er dus ook op gericht moeten zijn om AI-gebaseerde beslissingen zo te verklaren, dat we kunnen beoordelen of het systeem bevooroordeeld is, of erger, discrimineert.
  3. Richt voor menselijke toezicht in: geef medewerkers en betrokkenen de mogelijkheid in te grijpen in datagebaseerde beslissingen. Als dat niet mogelijk is tijdens het beslissingsproces, dan in ieder geval achteraf. Trap niet in de val van automation bias door te zeggen dat het peperdure AI-systeem het gewoon per definitie beter doet. Datagedreven systemen kunnen voor individuen of minderheidsgroeperingen behoorlijk harde beslissingen nemen, vooral omdat AI weinig weet heeft van de menselijke maat. Zeker wanneer het over beslissingen gaat die individuen raken, zoals bij fraudeonderzoek, sollicitaties en rechtspraak.
  4. Zorg ervoor dat beslissingen herzien kunnen worden: onderken dat systemen vergissingen kunnen begaan – zeker bij individuele gevallen – en maak het daarom mogelijk om medewerkers deze beslissingen te laten corrigeren. Zorg ervoor dat deze medewerkers de kennis, ervaring en mogelijkheden hebben om computergebaseerde beslissingen te corrigeren. Dit geldt niet alleen voor intelligente systemen, maar voor ieder IT-systeem. Wat wel geldt voor AI-systemen is dat verkeerde beslissingen systematisch moeten worden teruggekoppeld naar het AI-systeem, zodat dit kan leren van zijn eigen fouten.

Datagedreven en AI-systemen zijn meestal duur om te realiseren. Het verzamelen en opschonen van data is nu eenmaal arbeidsintensief werk. Maar helaas zijn dure systemen niet altijd ook goede systemen. AI-projecten zijn daarom gebaat bij een goede governance. Governance waarbij ethiek en vooral het vermijden van bias en discriminatie topprioriteit moet hebben.

Maar misschien is wel de belangrijkste bias die vermeden moet worden: onderken je eigen automation bias. Geautomatiseerde vooringenomenheid is de neiging van mensen om de voorkeur te geven aan resultaten of suggesties die worden gegenereerd door geautomatiseerde systemen en om tegenstrijdige informatie van niet-geautomatiseerde systemen te negeren, zelfs als deze correct is. Overschat niet de eerlijkheid en betrouwbaarheid van computersystemen. Lerende systemen, zoals kunstmatige intelligentie, kunnen ook foute dingen leren.

Maar voordat je met een AI-project begint, moet je je altijd afvragen: is artificiële intelligentie wel de beste oplossing voor het probleem dat ik heb? Zijn er geen minder risicovolle alternatieven waarmee je ook het gewenste resultaat kan bereiken. Misschien moeten we genoegen nemen met ‘domme’ algoritmen waarbij we de bron van bias gewoon gemakkelijker kunnen achterhalen en uitsluiten.

Deze tekst is eerder gepubliceerd in het vakblad ag connect.

Tekening Publiek Domein via Wikimedia