Oud-rector Sijtsma: Schakel de statisticus in om fraude en slordigheid te bestrijden

Waarom dit boek?

‘Zonder de affaire Stapel had ik dit boek nooit geschreven. Het is een combinatie van bestuurlijke ervaringen en de kennis die ik als statisticus heb over gebruik van statistiek. De hele Nederlandse academie raakte van slag toen het drama plaatsvond in september 2011 en ook de internationale gemeenschap was betrokken. Stapel, wetenschapper en decaan, werd direct ontslagen, en de toenmalige rector Philip Eijlander vroeg mij om interim-decaan te worden van TSB. Het decanaat was niet mijn ambitie, ik was vice-decaan onderzoek en ik werd tegen wil en dank decaan, maar ik vond dat ik het moest doen, het ging tenslotte om een noodsituatie. 

Al eerder was ik met wetenschapsfraude in aanraking gekomen, zij het indirect. De zaak Kingma speelde in Groningen, in 1989, en ik maakte mee hoe vreselijk mijn voormalige promotor ermee in zijn maag zat. Hij hield mij er nauwgezet van op de hoogte. Daardoor lette ik later denk ik wat scherper op andere zaken, zoals die van Buck in Eindhoven en Diekstra in Leiden, beide in de jaren 90. Ik was me daardoor bewust van wat een fraudezaak teweegbrengt. 

 Mensen zijn in staat om zoiets groots het hoofd te bieden door gewoon verder te gaan

De Stapel affaire was in het begin rampzalig voor de faculteit en de universiteit. Alle eer gaat naar rector Philip Eijlander die het heel goed heeft afgehandeld. In de afwikkeling behielden we de regie. Ik werd zijn rechterhand binnen TSB. Als decaan ben je een maar een kleine pion in een groter spel. Ik denk dat uiteindelijk voor TSB doorslaggevend was dat bijna alle medewerkers, na van de schrik te zijn bekomen, gewoon doorgingen met hun werk en het schip op koers hielden. Dat lijkt een beetje op de reactie toen een paar jaar geleden de impact van de coronacrisis duidelijk werd. Mensen zijn in staat om zoiets groots het hoofd te bieden door gewoon verder te gaan. 

Ook al was het begin rampzalig, toch had ik ook wel door dat je als organisatie niet te dramatisch moet doen; in alle grote organisaties komen mensen in de verleiding dingen te doen die niet kunnen. De gezamenlijke universiteiten hadden 55.000 medewerkers, en alleen al het grote aantal maakt het onvermijdelijk dat er wel eens gelazer is. Dat is ook een statistisch inzicht. Maar deze affaire had enorme gevolgen. In bijna 100 artikelen en hoofdstukken was met data en onderzoek gefraudeerd, ook in Science. En er zijn mij geen andere gevallen bekend van een promotor die zijn promovendi ongemerkt medeplichtig heeft gemaakt. Heel ernstig.

In de zomer van 2012, toen het eindrapport over de affaire nog niet was uitgekomen, was ik op vakantie in de VS, en ‘s avonds in een donker natuurreservaat waar we in een blokhut overnachtten, dacht ik, ik moet dingen gaan opschrijven. Ook met het oog op een lezing die ik zou houden bij Carnegie Mellon University in Pittsburgh, waar ik in het najaar als bestuurder en statisticus die in aanraking met datafraude was gekomen, was uitgenodigd. Dat schrijfsel werd de basis van dit boek. Een bedrijfsongeval was dus de aanleiding en ik vond dat we ervan konden leren: ‘never waste a good crisis’.’

Als statisticus zie je wel dat statistiek voor veel wetenschappers heel moeilijk is. Er gaat veel op een onschuldige manier fout.

Nu had Stapel data verzonnen en hij had bekend, maar er gaat misschien ook veel onopzettelijk verkeerd in het gebruik van statistiek?

‘Als statisticus zie je wel dat statistiek voor veel wetenschappers heel moeilijk is. Er gaat veel op een onschuldige manier fout. Niet met kwade bedoelingen dus, maar omdat je gemakkelijk fouten maakt. Er is onderscheid tussen fraude en onhandig gebruik van statistiek. Onder fraude valt ten eerste vervalsen, het veranderen van delen van de echte data zodat een gewenste uitkomst wordt bereikt. Ten tweede fabriceren, het geheel verzinnen van een databestand, met hetzelfde doel. Dan is er plagiaat, het overnemen van werk van anderen zonder bronvermelding. Dat is ook fout, maar minder erg voor de wetenschap omdat het resultaat wel klopt. Deze drie vormen zijn natuurlijk opzettelijk en moeten bestreden worden. 

Daarnaast is er ondeugdelijk, verkeerd gebruik van statistiek, dat niet opzettelijk is. Dit onhandige maar wel schadelijke gebruik van statistiek, komt doordat de meeste onderzoekers niet als statistici zijn opgeleid maar er wel mee moeten werken. We zijn dat zo gewend, maar het is eigenlijk raar dat het zo gaat. Statistici zijn op dit moment hard bezig om voor betere software te zorgen en onderzoekers bewust te maken van het gemak waarmee fouten worden gemaakt. Dat moeten ze vooral blijven doen, maar het raakt niet de kern van het probleem. De oplossing moet komen van bestuurlijke maatregelen.’

Onderzoeksgegevens niet publiceren is volkomen in strijd met het wetenschappelijk uitgangspunt, dat alles controleerbaar moet zijn

Nu nemen universiteiten, ook de onze, al veel maatregelen tegen het zorgvuldig gebruik van data. Zijn die niet afdoende?

‘Deze zijn vaak gericht op studenten, promovendi, cursisten, discussiegroepen, promotoren. Dat is goed, maar de vraag is: wat komt ervan terecht op de werkvloer? Hoeveel procent van de gegevensbestanden worden gepubliceerd? Dat gebeurt lang niet altijd. 10-15 jaar geleden was het geen standaardprocedure dat wetenschappers hun gegevens publiceerden. Ze bewaarden die in hun eigen computer. Nu begint wel door te dringen dat data openbaar moeten zijn. De universiteit zou onderzoekers daartoe moeten verplichten, bijvoorbeeld door dit in contracten vast te leggen. In het bedrijfsleven is het heel gewoon dat alle onderzoeksgegevens eigendom zijn van het bedrijf, dat zou de universiteit ook kunnen doen. Als er dan iets mis mee is, kun je gemakkelijker stappen ondernemen. Gelukkig zijn er steeds meer goede initiatieven, zoals op het gebied van open science. En ik ben niet negatief over hoe het gaat. Maar soms moet het bestuur een beetje duwen. Aan de universiteit is alles erg vrijblijvend.

Ik zie wel een probleem met privacy: je moet mensen beschermen, hun gegevens kunnen niet zomaar in de openbaarheid komen. Maar je moet ook beseffen dat onderzoeksgegevens niet publiceren volkomen in strijd is met het wetenschappelijk uitgangspunt, dat alles controleerbaar moet zijn. Dat is een kernprincipe en urgent. Je kunt niet iemand op de kleur van zijn ogen geloven als hij iets beweert. Dus ook al is publicatie soms lastig, je moet er wel naar streven en niet zelf argumenten aanslepen waarom het niet kan.’ 

Als je auto het niet doet, breng je hem ook naar de garage. Problemen met dataverwerking horen in de statistische werkplaats, bij statistici.

Wat vind je dat er nog moet gebeuren?

‘Allereerst moeten dus alle onderzoeksgegevens publiekelijk beschikbaar zijn. Dat is in lijn met de essentie van de wetenschap. Als jij iets beweert moet ik de gegevens daarvan kunnen inzien. Maar nu gaat het vaak zo dat ik bij navraag om data geen inzage kan krijgen. Privacywetgeving kan in de weg staan, maar onderzoekers beweren ook wel eens dat ze de gegevens kwijt zijn, er niet bij kunnen, en soms is het gewoon onwil. Men is ook wel eens bang dat iemand anders er met de gegevens vandoor gaat en erover gaat publiceren. Dat is praktisch oplosbaar, dus geen argument om van publicatie af te zien. 

In de tweede plaats moeten we erkennen dat veel wetenschappers geen deskundige statistici zijn. Psychologen, sociologen, gezondheidsonderzoekers, biologen, voor hen is statistiek een vak dat ze erbij doen. Als je een jaar scheikunde hebt gestudeerd, kun je toch ook niet beweren dat je een volleerd chemicus bent? Als je deskundig bent, zie je die fouten met statistiek vaak direct. Als je niet deskundig bent, denk je dat het zo hoort omdat iedereen in jouw omgeving het zo doet. 

Het beste zou zijn: zodra het te moeilijk wordt: schakel een statisticus in. Dat is niet vanzelfsprekend, maar als je auto het niet doet, breng je hem ook naar de garage. Problemen met dataverwerking horen in de statistische werkplaats, bij statistici. Dus maak een statisticus lid van je onderzoeksteam.’

Publicatiedatum: 28 november 2023