Crisis in de psychologie: statistische inconsistenties, te kleine steekproeven en overschatte effecten
PERSBERICHT - De psychologische wetenschap verkeert in een crisis. ‘Bewezen’ effecten worden niet meer gevonden wanneer onderzoek herhaald wordt (replicatie). Psychologische effecten in de wetenschappelijke literatuur worden overschat, of bestaan überhaupt niet. Michèle Nuijten onderzocht in haar dissertatie, die ze op 30 mei verdedigt aan Tilburg University, of in psychologische publicaties aanwijzingen te vinden zijn voor overschatte effecten en andere problemen. Haar conclusie: ‘inderdaad’.
Statistiek checker
Nuijten deed onderzoek naar statistische inconsistenties in publicaties. Hiervoor ontwikkelde ze het programma statcheck: een soort ‘spellingschecker’ voor statistiek. Conclusie: een groot deel bevat inconsistenties. Tegen haar verwachting in, vond ze geen bewijs dat artikelen die hun ruwe data deelden, minder kans hadden om statistische inconsistenties te bevatten. Nuijten adviseert redacteurs van wetenschappelijke tijdschriften om statcheck te gebruiken om ingestuurde artikelen te controleren op fouten.
Vertekening en overschatting
Een ander groot probleem is de publicatiebias: artikelen die bewijs voor het bestaan van een effect vinden, worden eerder gepubliceerd dan artikelen die geen bewijs voor een effect vinden. Ofwel, alleen ‘succesverhalen’ worden gepubliceerd, wat een enorme vertekening oplevert van de effecten in de wetenschappelijke literatuur. De vertekening kan zelfs erger worden als informatie uit verschillende studies wordt gecombineerd.
De promovenda vond sterk bewijs dat effecten overschat zijn in een analyse van studies uit de sociale wetenschappen in het algemeen, en in een grote set studies naar intelligentie. In het intelligentie-onderzoek blijkt bovendien dat de steekproeven systematisch te klein zijn.
Oplossingen?
Nuijten vond dus bewijs voor een hoge prevalentie van statistische inconsistenties en overschatte effecten in de psychologie. Haar bevindingen noodzaken om na te denken over concrete oplossingen om de kwaliteit van psychologisch onderzoek te verhogen, zoals:
- Preregistratie: Voordat ze data gaan verzamelen publiceren onderzoekers hun hele onderzoeksplan online. Op deze manier kunnen onderzoeken die geen bewijs vinden voor effecten niet ongezien verdwijnen in de archiefkasten, en wordt publicatiebias tegengegaan.
- Replicatie: Daarnaast is het belangrijk om herhaalonderzoek (replicaties) aan te moedigen, zodat eventuele overschatte effecten uiteindelijk gecorrigeerd worden.
- Data delen: Verder moeten onderzoekers ruwe data en onderzoeksmaterialen vaker delen, zodat fouten makkelijker aan het licht komen en verbeterd kunnen worden.
Meta-onderzoek
Uiteindelijk draait het om de vraag: hoe kunnen we de kwaliteit van psychologisch onderzoek verbeteren? Om hiervoor de beste strategieën te selecteren, moet er meta-onderzoek gedaan worden: onderzoek naar onderzoek. Nuijten: “Als we wetenschappelijke methodes gebruiken om te bestuderen hoe we de wetenschap kunnen verbeteren, zie ik de toekomst van de psychologie rooskleurig tegemoet.”
Michèle Nuijten (1990, Utrecht) studeerde Psychological Methods aan de Universiteit van Amsterdam. Ze startte haar promotieonderzoek in 2012 aan Tilburg University. Daar werkt ze momenteel als Assistant Professor bij het departement Methodology & Statistics van de Tilburg School of Social and Behavioral Sciences.
NOOT VOOR DE PERS
Michèle Nuijten promoveert op 30 mei 2018 aan Tilburg University (aula, 14.00 uur) op haar proefschrift getiteld Research on Research: A Meta-Scientific Study of Problems and Solutions in Psychological Science. Promotoren: prof. dr. Jelte Wicherts en prof. dr. Marcel van Assen (beiden Tilburg School of Social and Behavioral Sciences).
Nadere informatie bij de promovenda: e-mail: m.b.nuijten@tilburguniversity.edu, tel. 013-4662053. Een recensie-exemplaar is aan te vragen via persvoorlichters@tilburguniversity.edu of tel. 014-4664000.