Peerreview

Als iemand ervoor kiest in de wetenschap te werken, kiest men voor strenge normen met betrekking tot integriteit, objectiviteit en kwaliteit.^[2] Er bestaat een plicht tot onderlinge en constante, openbare uitwisseling van ideeën en kennis, tot een kritische houding of wetenschappelijk scepticisme, en tot onafhankelijkheid van geest en arbeid, vrij van buiten-wetenschappelijke, politieke of ideologische belangen.

In de academische gemeenschap wordt de peerreview-methode vanaf de 1960er jaren beschouwd als een onvoorwaardelijke manier om goede wetenschap te bedrijven. Collegiale toetsing gaat vooraf aan het besluit tot publicatie van onderzoeksresultaten en artikelen in wetenschappelijke tijdschriften. Voor die tijd werd een artikel of onderzoek vooral bekritiseerd na de publicatie, in het openbaar.^[2]

De Nederlandse wetenschappelijke gemeenschap gebruikt voor deze wetenschappelijk-collegiale toetsing vrijwel uitsluitend de Engelse term peerreview. Het principe van een dergelijke toetsing is dat verschillende personen verschillende fouten, tegenstrijdigheden of zwakheden zullen opmerken, waardoor de kans dat een fout of tekortkoming van de auteur(s) ontdekt en gecorrigeerd wordt, toeneemt. Daarnaast geldt in vele wetenschappelijke disciplines dat peerreview de enige vorm van kwaliteitsgarantie is en een manier om plagiaat te onderkennen, omdat reguliere redacteuren doorgaans de kennis en vaardigheden missen om een wetenschappelijke publicatie op zijn merites te beoordelen.

Wetenschappelijke peerreview geschiedt vaak anoniem. De vakgenoten die de toetsing verrichten doen dat onder anonimiteit, soms blijven voor hen de auteurs ook anoniem. Door de verregaande specialisatie die in vrijwel alle wetenschappelijke vakgebieden heeft plaatsgevonden, is er doorgaans slechts een relatief kleine groep personen die in staat is een bepaald onderzoek op zijn wetenschappelijke waarde en kwaliteit te toetsen. Het is gebruikelijk dat auteurs van een artikel dat ter publicatie wordt aangeboden een aantal mogelijke reviewers (beoordelaars) aanbevelen, maar de redacteur van het betreffende wetenschappelijke tijdschrift neemt de beslissing. Ook als de redacteur de namen van de auteurs van een artikel verwijdert, kan in de praktijk de reviewer op basis van citaten, onderzoeksgebied of andere aanwijzingen een idee hebben over de identiteit van de auteur(s). Wetenschappers die hun curriculum vitae op internet plaatsen en daarin een sectie met artikelen in voorbereiding opnemen, geven daarmee een bron om achter de identiteit van auteurs te komen. Omgekeerd is het wat lastiger, maar soms zijn ook de beoordelaars te achterhalen, bijvoorbeeld als ze er op staan dat er verwezen wordt naar een aantal van hun eigen publicaties. Enkele vakgebieden, zoals psychologie, hebben mede daarom de anonimiteit bij de peerreview opgeheven. In veel andere vakgebieden, zoals geschiedenis, biologie, milieukunde en marketing wordt het blind of dubbelblind reviewen nog wel gehanteerd, in elk geval formeel.

Er wordt vaak in verschillende ronden beoordeeld. Er kan een algehele afwijzing volgen in de eerste ronde. Indien echter een onderzoek of artikel in de ogen van de redacteur en de reviewers voldoende potentie heeft voor publicatie, worden de auteurs na de eerste kritiekronde in de gelegenheid gesteld om de punten van wetenschappelijke kritiek te verwerken. Het gebeurt maar zelden dat een artikel in de eerste ronde aangenomen voor publicatie zonder punten van kritiek. Correcties op het vlak van type- en taalfouten vallen niet onder de peerreview. Wanneer het noodzakelijk is een artikel of onderzoek grondig te bewerken, bijvoorbeeld omdat er door een beoordelaar gewezen wordt op wezenlijke zaken die niet of niet voldoende zijn meegewogen, vindt vooralsnog geen publicatie plaats. Er kan ook verschil van inzichten of mening bestaan tussen beoordelaar en schrijver of onderzoeker. In dat geval volgen er vaak meer ronden met discussie. Daarbij gaat het niet louter om de eigen mening, maar om de eigen mening omtrent de stand van zaken in de wetenschap.

Het dubbelblinde beoordelingsproces kan zo omschreven worden als een wisselwerking tussen drie partijen: de auteur, de redacteur en de reviewers. Elk van deze partijen heeft een mening omtrent de kwaliteit en het wetenschappelijke gewicht van het onderzoek of artikel, maar het is de redacteur die de uiteindelijke beslissing neemt.^[3]

Binnen de academische gemeenschap is er ook kritiek op peerreview.^[4] Veel gehoorde kritiek is dat anonimiteit het gemakkelijker maakt om onterechte kritiek te geven, bijvoorbeeld om daar zelf voordeel uit te trekken.^[2] Ander punt van kritiek is dat onder andere door het falen van de anonimisering, gevestigde wetenschappers worden bevoordeeld. Peerreview kan ook een rol spelen in het onderdrukken van geldige en vernieuwende denkbeelden. Richard Horton, hoofdredacteur van het Britse medische tijdschrift The Lancet, verklaarde eens dat het peerreview bevooroordeeld, onrechtvaardig, oncontroleerbaar, onvolledig, vaak beledigend, meestal onwetend, soms dwaas en vaak verkeerd kan zijn.^[5] Ook zouden reviewers bevooroordeeld zijn omdat zij hun vakgebied in een richting willen sturen die hunzelf welgevallig is. Ten slotte zouden reviewers ook te kwader trouw de geloofwaardigheid van een nieuwe publicatie in twijfel kunnen trekken, om hun eigen carrièrekansen te vergroten. Zij kunnen bijvoorbeeld daarna zelf vergelijkbaar onderzoek gaan uitvoeren dat wel gepubliceerd wordt. Zo kan een kleine groep onderzoekers zich een bepaald onderzoeksgebied toe-eigenen onder uitsluiting van buitenstaanders. Dit is niet bevorderlijk voor het falsificatie-proces dat wetenschappelijke vooruitgang stimuleert.

Ook auteurs proberen soms het beoordelingsproces te sturen, bijvoorbeeld door manuscripten vooraf ter lezing aan een mogelijk onwelgevallige beoordelaar op te sturen en deze persoon expliciet in de dankbetuiging op te nemen; zo wordt de potentiële reviewer al bij voorbaat gediskwalificeerd. Dergelijke strategieën en "trucs" gaven aanleiding tot de Noorderlicht-serie "Ellebogenwerk", waarin enkele topwetenschappers geïnterviewd worden over "ellebogenwerk" in de wetenschap.^[6]

Een ander punt van kritiek is dat het proces wel erg lang kan duren. In het beste geval is dat een maand of wat, maar het is niet ongebruikelijk dat het een jaar of zelfs twee wordt, zeker als er onenigheid ontstaat. In een vakgebied dat snelle ontwikkelingen doormaakt kan dat fnuikend voor de wetenschappelijke communicatie werken. Ook dit neigt er naar kliekvorming te bevorderen omdat onderzoekers die elkaar goed kennen elkaar vaak langs persoonlijke weg op de hoogte houden van hun jongste vorderingen met uitsluiting van 'buitenstaanders'. Een aantal wetenschappelijke tijdschriften wil vanaf 2018 open peerreview inzetten om deze problemen te voorkomen.^[7]

Naar aanleiding van een aantal gevallen van fraude en misbruik door notarissen stelde de Koninklijke Notariële Beroepsorganisatie in 2008 een intercollegiale toetsing voor waarbij notarissen elkaar moeten toetsen op naleving van de beroepseisen.^[8]

In de informatica, waar software vaak als onderzoeksmateriaal geldt maar ook bij de ontwikkeling van programma's (apps), staat ook deze bloot aan peerreview. In dit vakgebied vindt publicatie doorgaans niet plaats in tijdschriften, maar in verhandelingen van conferenties en congressen of in een eindproduct zoals bij programma's. Eric Raymond beschreef het sociologische verschijnsel van peerreview binnen de opensourcegemeenschap in zijn artikel "The Cathedral and the Bazaar".

• Sokal-affaire
• Wetenschapssociologie

• Michael Vlerick, Kritisch en Wetenschappelijk Denken: Een Korte Introductie, Open Press Tilburg University (2022), online publicatie