Marcel van Assen: "Veel wetenschappers roepen te rap dat ze iets gevonden hebben”
“Onderzoekers zijn een soort detectives. Ze speuren met een lamp in het donker naar een bevinding. Maar vaak roepen ze te rap dat ze iets gevonden hebben.” Dat stelt Marcel van Assen van het departement Methodology & Statistics aan de Tilburg School of Social and Behavioral Sciences van Tilburg University. Hij publiceerde een artikel in het tijdschrift Psychological Science, dat hij schreef samen met collegae Chris Hartgerink en Anton Olsson Collentine: 'The prevalence of Marginally Significant Results in Psychology over Time'.
P-waarde
Standaard rapporteren onderzoekers dat ze een effect hebben gevonden als een resultaat ‘statistisch significant’ is bij een p-waarde van 0,05 of lager. Deze standaard van 0.05 staat recent onder druk. Van Assen wijst op het artikel Redefine Statistical Significance, van de hand van meerdere auteurs in het tijdschrift Nature Human Behavior (NHB, 2018).
Zij vinden deze standaard van 0,05 te laag en zien dat als een belangrijke oorzaak voor niet-reproduceerbare bevindingen en vals-positieve bevindingen, d.w.z. er is sprake van ‘vals alarm’. De detective denkt iets gevonden te hebben, maar er blijkt geen effect te zijn. De auteurs in NHB stellen daarom een verlaging van de standaard van 0,05 naar maar liefst 0,005 voor. Saillant is dat bij het aanhouden van deze nieuwe standaard veel bevindingen die als zodanig in de literatuur zijn gerapporteerd niet als bevinding zouden mogen worden beschouwd.
Significante claims
Olsson Collentine, Van Assen en Hartgerink gingen een stap verder en onderzochten de mate waarin onderzoekers in de psychologie op basis van nog minder evidentie een bevinding rapporteren. Meer precies, zij onderzochten hoe vaak onderzoekers p-waarden tussen 0,05 en 0,10 al als marginaal significant rapporteren. Met een automatische zoekmachine werden duizenden psychologie-artikelen doorgelicht. Conclusie: bijna 40% van de p-waarden tussen 0,05 en 0,10 wordt als marginaal significant geïnterpreteerd, ofwel, als bewijs voor een vondst. De mate waarin onderzoekers in de psychologie dit doen is niet toegenomen in de tijd, maar varieert wel tussen disciplines. Omdat de standaard van 0,05 niet al te hoog is, en reproduceerbare bevindingen en vals-positieve bevindingen een probleem zijn in de psychologie en daarbuiten, is het niet wenselijk dat onderzoekers gebruik maken van standaarden, zoals 0,10.
Twijfelachtige claims
Zijn nu al die publicaties met p-waarden tussen 0,05 en 0,10 dan niks meer waard? Van Assen: “Alle publicaties kunnen waardevol zijn, onafhankelijk van hun p-waarden. Echter, bevindingen die gebaseerd zijn op p-waarden tussen 0,05 en 0,10 (maar ook die zijn gebaseerd op p-waarden net onder de 0,05) moet je niet voor zoete koek aannemen. Pas na sterker bewijs, bijvoorbeeld verkregen in replicaties die bij voorkeur zijn gepreregistreerd, zou ik de bevinding voor waar aannemen.”
Tot slot. “We moeten als detectives scherpere lampen op fenomenen en onderzoek laten schijnen. De wetenschap zal verder gezuiverd moeten worden van onzuivere claims. Verschillende onderzoeksgroepen aan onze universiteit zijn daar druk mee bezig.”
A. Olsson-Collentine, M. van Assen, C. Hartgerink: The prevalence of marginally significant results in psychology over time, in: Psychological Science 2019.
Nadere info: prof. dr. Marcel van Assen: m.a.l.m.vanassen@tilburguniversity.edu, tel. 013-466 2362.