De algoritmische overheid: dit is het moment om transparantie goed te regelen

Dat de overheid algoritmen gebruikt voor berekeningen is op zichzelf niets nieuws. Wel dat die algoritmes steeds vaker worden ingezet en steeds complexere berekeningen kunnen maken op basis van big data, wat leidt tot problemen met betrekking tot transparantie en uitlegbaarheid. “Het is blijkbaar zo dat er meer (deels) geautomatiseerde besluiten de deur uitgaan dan besluiten die niet ondersteund worden door algoritmische processen,” vertelt Jurgen Goossens, universitair hoofddocent staats- en bestuursrecht in het Department of Public Law & Governance. “Als de Belastingdienst bijvoorbeeld geen gebruik zou maken van algoritmen, zou het heffen van belastingen veel meer tijd en geld kosten en zou de kans op menselijke fouten vele malen groter zijn. Computers die met goed werkende algoritmen correcte data verwerken, zijn in principe betrouwbaarder dan de mens.”

Vertrouwen

Maar wat als complexe algoritmen niet goed ontworpen zijn? Of als computers zelf leren om ingewikkelde besluiten te nemen en er dus sprake is van Artificiële Intelligentie waarbij onbedoelde bias kan ontstaan? Kunnen we dan wel een overheid vertrouwen die computermodellen gebruikt ter ondersteuning van besluitvorming?

Als het gaat om besluiten die gebaseerd zijn op inzichtelijke, uitlegbare algoritmen die door mensen gemaakt zijn en door hen gecontroleerd kunnen worden, beantwoordt Goossens die vraag met een voorzichtige ja. Voor hem is evenwel een andere belangrijke vraag ook of ons staats- en bestuursrecht voldoende weerbaar is om de overheid te corrigeren als het mis gaat met een geautomatiseerd besluitvormingsproces. Dat lijkt nog steeds het geval, zegt hij. “Kijk naar de uitspraak van de Raad van State over de AERIUS calculator om stikstofdepositie te berekenen. Dat was een duidelijke rode vlag: de minister kon zelf het systeem niet meer uitleggen.”

Goossens wijst ook op een ander recent voorbeeld. Op 5 februari 2020 heeft de rechtbank geoordeeld dat het Systeem Risico Indicatie (SyRI) in strijd is met het recht op respect voor het privéleven zoals beschermd door artikel 8 van het Europees Verdrag voor de Rechten voor de Mens. SyRI gebruikt big data en algoritmen voor het detecteren van sociale zekerheidsfraude zonder concrete aanleiding, door het risico te voorspellen dat iemand geneigd is om fraude te plegen. Volgens de rechtbank biedt de overheid onvoldoende inzicht in de werking en het gebruik van het risicomodel, maar zonder waarborgen te voorzien die dit gebrek aan inzicht kunnen compenseren. Hierdoor kunnen burgers niet controleren of SyRI onbedoeld leidt tot discriminerende vooringenomenheid.

Oproep tot actie

Naast de overheid terugfluiten als ze niet voldoet aan bijvoorbeeld het zorgvuldigheids- en motiveringsbeginsel, ligt er echter nog heel wat werk op de plank om het gebruik van algoritmen inzichtelijk en controleerbaar te maken: aan het begin van het besluitvormingsproces voor de overheid zelf die het moet kunnen uitleggen; voor de burger die deze uitleg moet kunnen begrijpen, onder meer om te beslissen of hij het besluit wil aanvechten; én op het einde van de rit voor de rechter, die moet kunnen bepalen of een algoritme-gedreven besluit rechtmatig is.

De rode vlag voor AERIUS van de Raad van State maakt wat Goossens betreft ook duidelijk dat het moment is aangebroken om de overheid op te roepen al haar algoritme-gedreven besluitvorming goed te inventariseren en te screenen. “Zoiets als dit zou eigenlijk niet meer mogen gebeuren. Er moet dringend meer transparantie en inzicht komen,” zegt hij.

Kwaliteit borgen

De overheid zou niet alleen precies moeten kunnen uitleggen hoe op basis van welke data en berekeningen een besluit tot stand is gekomen, ook zou de kwaliteit van alle geautomatiseerde besluitvorming ‘by design’ van tevoren al geborgd moeten worden door wetgever en bestuur. Dat betogen Goossens en collega-hoogleraar Jurgen de Poorter in een recent artikel ‘Effectieve rechtsbescherming bij algoritmische besluitvorming in het bestuursrecht’ in het Nederlands Juristenblad.

Dat kan bijvoorbeeld door een rol toe te bedelen aan een toezichthouder of door, zoals in Canada, een algoritmische impact assessment verplicht te stellen om de risico’s van de geautomatiseerde besluitvorming in te schatten. Bij een hoog risico kunnen dan bijkomende wettelijke kwaliteitseisen worden opgelegd. Goossens hoopt financiering te krijgen om te onderzoeken hoe we in Nederland zo’n impact assessment kunnen invoeren naar Canadees voorbeeld.

Van black box naar glass box

De kern blijft niettemin transparantie: de overheid moet elke algoritmische ‘black box’ zelf op een toegankelijke wijze kunnen uitleggen aan de burger en in beroep bij de rechter. Met andere woorden, omzetting naar een 'glass box'.

Voordat er eventueel in beroep een rechter aan te pas komt, moet een besluit bovendien eerst heroverwogen worden in de bezwaarprocedure bij het bestuur zelf. Volgens de Poorter en Goossens betekent dit dat er een recht op menselijke tussenkomst moet zijn. Mensen van vlees en bloed moeten kunnen verantwoorden hoe tot een besluit wordt gekomen.

Goossens: “Daarvoor zou de overheid al in de ontwerpfase van softwareprogramma’s nauw met technische experts moeten samenwerken en op zijn minst een duidelijke checklist moeten hanteren. Een zinvolle dialoog tussen juristen, technici en ethici helemaal aan het begin is essentieel. Naast het borgen van ethische en publieke waarden, moet het jargon van de computerwetenschapper en van de jurist op elkaar worden afgestemd. De code moet immers doen wat op juridisch en ethisch vlak verwacht wordt, zodat de overheid onder meer kan voldoen aan het motiverings- en zorgvuldigheidsbeginsel.”

Juristen trainen

“Als jurist heb ik een boek geschreven over de gedistribueerde technologie blockchain en smart contracts, namelijk ‘als x, dan y’-algoritmen, samen met een computerexpert. Dat was een intensief proces van interdisciplinair communiceren om zo meerwaarde te creëren. Niet alleen overheids- en bedrijfsjuristen zullen daarin moeten worden getraind, zeker ook docenten en studenten.”

In een groot project over hyperconnectiviteit en complexiteit door het gebruik van blockchaintechnologie en smart contracts door de overheid, waarvoor Goossens als projectleider samen met collega’s Esther Keymolen (TILT) en Damian Tamburri (JADS) onlangs 1 miljoen euro hebben verworven, krijgt die interdisciplinaire dialoog tussen juristen, technici en techniekfilosofen dan ook een grote rol. Bovendien besteden de projectonderzoekers extra aandacht aan het ‘burgerperspectief’ bij het borgen van publieke waarden, dat bij wetgeving en bestuur al te vaak onderbelicht blijft volgens de onderzoekers.

Uitdaging: zelflerende systemen

Een ander belangrijk punt is hoe de rechtmatigheid van een besluit dat door een zelflerend systeem is genomen kan worden getoetst door de rechter. Zo’n computermodel verandert namelijk voortdurend. Goossens: “De bestuursrechter die over een besluit moet oordelen, kijkt terug naar het moment dat het besluit is genomen en moet dus weten wat de algoritmische beslisregel juist op dat moment was en welke data zijn gebruikt. Om dat inzicht te verkrijgen in de toekomst voor alle mogelijke besluiten, moet het computernetwerk een bijzonder grote opslagcapaciteit hebben. Dat is een grote uitdaging.”

Nederland gidsland?

Nederland investeert veel in algoritmen en artificiële intelligentie en heeft de ambitie een van de koplopers te worden in de wereld die óók voldoende de ethische, publieke waarden borgt. Er is een landelijke AI-coalitie gevormd met dat doel, en ook de Tweede Kamer heeft zelf actie ondernomen door een tijdelijke parlementaire commissie Digitale toekomst in te stellen. Loopt de overheid soms echter niet te hard als het gaat om het gebruik van algoritmen en AI, waarbij de kans bestaat dat burgers de dupe worden van rekenmodellen die niet meer zijn uit te leggen en tot discriminatie en bias kunnen leiden? Zijn er wel voldoende waarborgen?

De wetgever moet zich bezinnen over regulering die is afgestemd op een algoritmische wereld

Goossens antwoordt: “Het bestuursrechtssysteem met haar algemene beginselen is robuust en weerbaar, maar is geschreven voor een papieren wereld, met onder meer ook een plicht om belanghebbende te horen ter voorbereiding van besluiten. Om ervoor te zorgen dat het bestuursrecht geen onbedoelde rem wordt op digitale ontwikkelingen en dus om voldoende rechtszekerheid te waarborgen, dient de wetgever zich te bezinnen over regulering die is afgestemd op een algoritmische wereld met automatisering en hyperconnectiviteit. Zo niet, kan het economisch verlies groot worden. Als de overheid, het bedrijfsleven en onderzoekers hun krachten bundelen en uitgaan van een burgerperspectief, kan Nederland een gidsland worden inzake transparante, betrouwbare, legitieme toepassingen van algoritmen en AI door de overheid.”

Publicatiedatum: 16 juni 2020