Handreiking voor niet discriminerende algoritmes

Handreiking voor niet discriminerende algoritmes

Algoritmen worden steeds vaker ingezet om risico-gestuurd te werken en geautomatiseerde besluiten te nemen. Maar een groot risico daarvan, zeker bij zelflerende systemen, is dat niet meer duidelijk is hoe de besluitvorming tot stand komt. Dat dit fout kan gaan bleek maar al te goed uit de kindertoeslagaffaire, waarbij minderheden onder meer door algoritmen stelselmatig werden gediscrimineerd door de Belastingdienst.

Handreiking

In opdracht van het Ministerie van Binnenlandse Zaken heeft een team van onderzoekers van Tilburg University, Eindhoven University of Technology, Vrije Universiteit Brussel en het College voor de Rechten van de Mens een handreiking samengesteld met daarin stap voor stap uitgelegd hoe organisaties die kunstmatige intelligentie willen inzetten, kunnen voorkomen dat hun algoritmes discrimineren. Het onderzoeksteam heeft gekeken naar technische, juridische en organisatorische voorwaarden die daarbij in acht moeten worden genomen. De handreiking geldt voor zowel de publieke als de private sector.

Downloads handreiking

Tien regels

De Handreiking geeft 10 regels waarmee misstanden als de kindertoeslagaffaire bij de Belastingdienst kunnen worden voorkomen.

  1.  Betrek belanghebbenden
    Belanghebbenden en groepen die te maken krijgen met automatische besluitvorming moeten worden betrokken bij de ontwikkeling van het algoritme, niet aan het eind van het proces, maar vanaf het allereerste moment. Vervolgens dienen er regelmatig evaluatiemomenten met betrokkenen te zijn tijdens het ontwikkelproces.
  2. Think twice
    Uitvoeringsinstanties en bedrijven kiezen nu vaak standaard voor automatische besluitvorming en risico-gestuurd werken, tenzij er wezenlijk bezwaren zijn. Omdat algoritmes per definitie beslissingen nemen op basis van groepskenmerken en geen rekening houden met de specifieke omstandigheden van individuele gevallen is het discriminatiegevaar intrinsiek aan de keuze voor kunstmatige intelligentie. Daarom moet er altijd eerst worden nagegaan of de doelstellingen niet zonder algoritme kunnen worden behaald. 
  3. Heb oog voor de context
    Door middel van algoritmen wordt een proces model-gestuurd; dat is efficiënt en kan consistentie in de hand werken. De regels die het algoritme leert, volgen echter uit de data-realiteit en raken geregeld losgezongen van de echte wereld en de menselijke maat. Daarom moet er bij besluitvormingsprocessen een persoon die controleert: wat het algoritme nu doet, snijdt dat eigenlijk wel hout? Het team dat aan een AI-project werkt dient dan ook zo divers mogelijk te zijn, waarbij zowel moet worden gelet op professionele als persoonlijke achtergronden, zoals de etniciteit, geslacht, geaardheid, culturele en religieuze achtergrond en leeftijd van de teamleden.
  4. Check bias in de data
    Algoritmen werken met data, maar de data die organisaties in het bezit hebben zijn vaak onvolledig en geven een vertekend beeld. Een algoritme dat leert van de huidige wereld zal leren dat mannen vaker worden uitgenodigd voor een sollicitatiegesprek voor een leidinggevende functie dan vrouwen; een algoritme dat wordt getraind op de database van de politie, die een overrepresentatie heeft van gegevens uit wijken met veel bewoners met een migratieachtergrond, zal concluderen dat criminaliteit zich met name in die wijken afspeelt. Daarom moet er altijd worden gecheckt of de data evenwichtig, volledig en up to date zijn.
  5. Stel heldere doelstelling vast
    Voordat het algoritme wordt ontwikkeld moeten succescriteria worden vastgesteld. Wat is de toegestane foutmarge en hoe verschilt die van bestaande processen? Welke voordelen zou het kunstmatige intelligentie-systeem moeten hebben om de investering waard te zijn? Een jaar nadat het systeem in de praktijk is gebracht moet worden geëvalueerd of deze bechmarks zijn behaald; zo niet, dan moet het systeem in principe worden stopgezet.
  6. Monitor permanent
    Algoritmen zijn vaak zelflerend. Dat betekent dat zij zichzelf aanpassen aan de context waarbinnen zij worden ingezet. Hoe zo’n algoritme zich ontwikkelt is echter niet van tevoren te voorspellen, vooral ook omdat die context kan veranderen. Daarom moet het systeem permanent worden gemonitord. Ook al is de automatische besluitvorming niet discriminerend op het moment dat het wordt ingezet, dan nog kan dat na verloop van een jaar of zelfs een maand anders zijn.
  7. Betrek externe experts
    Bedrijven en overheidsorganisaties zijn vaak niet neutraal ten aanzien van hun eigen systemen. Er zijn kosten voor gemaakt, er is tijd in geïnvesteerd, er is prestige mee gemoeid. Daarom moet de evaluatie van het systeem niet alleen in handen komen van de organisatie zelf, maar dienen externe experts te worden betrokken. Deze groep van externe experts moeten kennis hebben van het domein waarbinnen het algoritme wordt ingezet, van de vigerende juridische regels en de geldende technische standaarden.
  8. Controleer op indirecte discriminatie
    De controle op algoritmes moet niet alleen gaan om de vraag of het systeem expliciet besluiten neemt op basis van discriminerende gronden zoals ras, geaardheid, levensovertuiging of leeftijd. Ook al houden automatische besluitvormingssystemen niet direct rekening met deze factoren, dan kunnen zij dat indirect doen. Als een predictive policing systeem bijvoorbeeld postcodegebieden gebruikt dan kan dat leiden tot indirecte discriminatie, omdat het de politie kan adviseren om veel te surveilleren in de Bijlmer of de Schilderswijk. Het risico op zichzelf vervullende voorspellingen is hier groot.
  9. Check legitimiteit
    Niet al het onderscheid is verboden, zelfs directe of indirecte discriminatie kan in voorkomende gevallen geoorloofd zijn. Een automatisch besluitvormingssysteem dat een castingbureau helpt bij het selecteren van sollicitatiebrieven mag bijvoorbeeld discrimineren op basis van geslacht als er wordt gezocht naar een vrouwelijke acteur. Een postcodegebied of andere factoren die mogelijk kunnen leiden tot indirecte discriminatie zijn niet in alle gevallen verboden, dat hangt af van de context. Daarom moet er altijd worden gecontroleerd, niet alleen of het systeem onderscheid maakt, maar ook hoe, waarom en of daar goede redenen voor zijn.
  10. Documenteer alles
    Documenteer alle beslissingen ten aanzien van de dataverzameling, selectie van de data, de ontwikkeling van het algoritme en de aanpassingen die daaraan worden gedaan. Documentatie moet zowel begrijpelijk zijn voor burgers die een beroep doen op hun rechten, voor de externe experts die een onafhankelijk audit doen en voor toezichthouders als de Autoriteit Persoonsgegevens die het systeem wil controleren.
Screenshot onepager NL