Bloggen Retractionwatch uppmärksammade för ett tag sedan ett intressant ämne och en artikel som argumenterar för att peer review processen har svårigheter att identifiera banbrytande forskning. I bloggen citeras artikelns sammanfattning:
“[…]Of the 808 eventually published articles in our dataset, our three focal journals rejected many highly cited manuscripts, including the 14 most popular; roughly the top 2 percent. Of those 14 articles, 12 were desk-rejected. This finding raises concerns regarding whether peer review is ill-suited to recognize and gestate the most impactful ideas and research.” (Siler, et al., 2015)
Huruvida citeringar bör vara ett mått på kvalitet sparar vi till ett annat inlägg. Men är peer review bra som en kvalitetssäkring? Birger Hjörland uttrycker sig på följande sätt:
“Peer review is heavily discussed and criticized, and experiments such as [7–12] indicate that the reliability of the evaluations is low. “Chubin and Hackett [13] found in a survey of members of the Scientific Research Society that only 8% agreed that ‘peer review works well as it is’ (p. 192).” These criticisms are indeed serious, but the problem is that nobody has yet been able to suggest a better evaluation process that has won broad consent.” (Hjörland., 2012, p. 260)
Han poängterar också att granskande forskare har en större avslagsfrekvens på forskning som inte följer granskarens egna perspektiv. Om det bara är ett perspektiv som marknadsförs finns det en risk att det skapas ett beroende mellan tidskrift och författare. Detta gör det i sin tur viktigare att söka reda på oberoende källor som kan användas för att sätta sitt arbete i en källkritisk kontext. Hjörland avslutar sin text med följande ord:
Good, scholarly reading is to be aware of different perspectives, and to situate oneself among them.” (Hjörland ., 2012, p. 266)
Är peer review ett bra verktyg för att hitta banbrytande forskning? Kanske inte; Men har vi något bättre alternativ?
/Thomas Nyström
Hjørland, B., 2012. Methods for evaluating information sources: An annotated catalogue. Journal of Information Science, 38(3), pp. 258–268.
Siler, K., Lee, K. & Bero, L., 2015. Measuring the effectiveness of scientific gatekeeping. PNAS, 112(2), pp. 360-365.