En ny undersökning publicerade i PLOS Biology i höstas visar att forskare är ganska dåliga på att avgöra vad som är betydelsefull forskning. Det är inte så lätt att avgöra betydelsen av forskning. Vad är det som definieras som betydelsefull? Är det forskning som har en metodologisk och teoretisk stringens, eller forskning som är nydanande, eller som har störst påverkan på vardagslivet?
Undersökningen visa iaf att forskare som bedömer samma artiklar inte ger dem samma betyg oftare än vad de skulle gjort rent slumpmässigt. Forskarna bakom undersökningen har tittat på tre sätt att granska och bedöma forskning: peer review, antal citeringar och tidskriftens impact factor. Dessa mått anses vara ett direkt mått på vad som är betydelsefullt och inte. Författarna visar att publiceringskanal – vilken tidskrift forskning är publicerad i – påverkar granskarnas betyg på artiklen. Ju mer prestigefyllt tidskrift (högre impact) desto högre betyg får även forskningen.
Problemet ligger i att impact factor varierar mellan vetenskapsområden samt att vissa områden publicerar sig inte i tidskrfiter, vilket betyder att deras forskning inte kan mätas genom att använda impact factor. Problemet ligger också i peer review-systemet som kanske inte alltid håller högsta kvalitet. Därför måste andra sätt att bedöma vad som är betydelsefullt tas fram. Ett sätt t.ex. är att ha en öppen refereegranskning efter publiceringen och de publikationer som får bra kommentarer får finnas kvar. Detta fixar dock inte frågan om definitionen på vad som är betydelsefull forskning.
Då bedömningen av vad som är betydelsefull forskning är svårt och ingen verkar veta vad det är, drar författarna slutsatsen att det kanske vore bättre att satsa på en stor variation av forskning istället för att satsa stort på några individer eller forskargruppen.
Läs hela artiklen:
Eyre-Walker, A. & Stoletzko, N. (2013). The assessment of science: the relative merits of post-publication review, the impact factor, and the number of citations. PloS Biology 11(10), DOI: 10.1371/journal.pbio.1001675 [2014-02-21]
Pieta Eklund