Voordeel en noodzaak van open science practices

In 2018 introduceerde het European Journal of Psychotraumatology het concept van de zogenoemde Registered Reports (RR's) (Spiller & Olff, 2018) dat voor deze problemen een oplossing zou kunnen bieden. Voor een RR dienen auteurs al voordat ze starten met dataverzameling de achtergrond en methoden voor hun onderzoek ter beoordeling in bij een tijdschrift. Pas na een principeakkoord over publicatie voeren ze het onderzoek uit. Wanneer het manuscript is afgerond, volgt een tweede beoordelingsronde waarin de reviewers beoordelen of het plan is uitgevoerd zoals bedoeld en of de resultaten op de juiste wijze zijn geïnterpreteerd. Als dat zo is, wordt het manuscript gepubliceerd, onafhankelijk van de resultaten van de studie. Op deze manier is het accepteren van manuscripten afhankelijk van de specificiteit en de kwaliteit van het onderzoeksplan, en minder van statistische significantie of positieve en publiceerbare resultaten. Het gebruik van bijvoorbeeld QRP's zal daardoor nutteloos zijn.

Voor ons als individuele onderzoekers zal het indienen van RR's betekenen dat wij onderzoeken zullen moeten uitvoeren aan de hand van strenge methodologische en statistische eisen. Het kan zijn dat we daardoor grotere samples moeten verzamelen of dat we statistische technieken moeten gebruiken die we niet goed kennen. Dit kan bijvoorbeeld opgelost worden door samen te werken met meerdere onderzoeksinstellingen en statistici.

Open science practices betekenen ook een fundamentele verandering ten opzichte van transparantie. Traditioneel beschermen we onze projecten omdat we bang zijn dat iemand anders er met onze ideeën of data vandoor gaat. We beschouwen het als vernietigend als iemand anders eerder publiceert over onze ideeën. Openheid kan ook betekenen dat we onze data publiek opslaan. We zouden daardoor bang kunnen zijn dat daardoor fouten of onopzettelijke QRP's aan het licht komen.

In de huidige wetenschappelijke cultuur wordt de geregelde publicatie van positieve en innovatieve resultaten hogelijk gewaardeerd. Publicaties met een hoog impactcijfer zijn belangrijk voor succesvolle fondsenwerving, prestigieuze academische posities en zelfs hele carrières. In een dergelijke cultuur is het heel lastig om individueel succes in te ruilen voor transparantie en delen. Ook zijn nulresultaten niet gewenst, omdat ze niet tot publicaties leiden. Onopzettelijk naar QRP's grijpen wordt zo heel denkbaar.

Tijdschriften kunnen helpen om verandering te realiseren. Het introduceren van bijvoorbeeld RR's kan op verschillende manieren helpen. Het belonen van transparantie zal helpen om alternatieve normen te omarmen. Het in principe accepteren van plannen voordat de data verzameld zijn, zal het aantal publicaties met nulresultaten verhogen. Op die manier kunnen tijdschriften helpen om onze tolerantie voor negatieve resultaten te verhogen. Hoewel we het gevoel kunnen hebben dat onze studies mislukt zijn als de resultaten niet in lijn zijn met de hypotheses, is het immers wel te verwachten dat dat geregeld gebeurt.

Een grondig reviewproces voor RR's zal waarschijnlijk de kwaliteit van het onderzoek verhogen. Transparantie zal wel hand in hand gaan met een verhoogde kans op het ontdekken van fouten. Dit met een accepterende attitude benaderen kan afschrikken, maar is wel onvermijdelijk als we toe willen naar een efficiënt, progressief en zelfcorrigerend wetenschappelijk systeem.

Tot slot zouden tijdschriften het delen van data in publiek toegankelijke databases kunnen afdwingen.

We zijn benieuwd hoe het initiatief van de Registered Reports ontvangen zal worden door onderzoekers naar psychotrauma. Wij zijn ervan overtuigd dat specifieke en precieze onderzoeksplannen in RR's de kwaliteit van het onderzoek naar psychotrauma zullen verbeteren.

Commentaar van de redactie (Hermien Elgersma)

Binnen de wetenschap is een ontwikkeling gaande die zeker ook voor gedragstherapeuten van groot belang is om te volgen. Al eerder bleken positieve resultaten uit onderzoek op het gebied van de (sociale) psychologie moeilijk of niet te repliceren (zie onder andere Nosek & Lakens, 2014). Non-replicatie kan betekenen dat een origineel onderzoek het 'echte' effect overschat of zelfs dat een effect in werkelijkheid niet bestaat.

De hiervoor samengevatte brief beschrijft helder op welke niveaus een verandering in denkwijze nodig is om wetenschappelijk onderzoek transparanter te maken: dat van de individuele onderzoeker, van de cultuur van onderzoek (universiteiten, subsidieverstrekkers) en van de redacties van tijdschriften. Een niveau dat we hieraan zouden kunnen toevoegen is de verandering in lees- en denkwijze van de lezers van wetenschappelijke artikelen. Op de hoogte zijn van QRP's is voor de lezer van belang om een artikel op waarde te kunnen schatten. Denk bijvoorbeeld aan het uitgebreid testen binnen één onderzoek zonder te corrigeren voor de kans op valspositieve uitslagen. Ook lezers van wetenschappelijke artikelen kunnen geneigd zijn met name de positieve resultaten te lezen en te onthouden. Vaak willen lezers weten wat werkt, maar lezen wat niet werkt is dus minstens zo belangrijk. Alle onderzoeken door de tijd heen dragen samen bij aan het steeds beter kunnen inschatten van het effect. Voor de lezers is het dus niet alleen van belang om op de hoogte te zijn van deze ontwikkeling om wetenschap transparanter te maken, maar ook om dit zelf toe te passen bij het lezen van vakliteratuur.