Vetenskapsrådet
"Att inse att man är okunnig är ett bra steg mot kunskap."
- Laurence Sterne
Det här är tidningen Tentakels arkiverade webbsidor. Tidningen lades ned 2011.
Mars 2008 Nr 2
Linjal

<span class="bldtextfoto">Foto: Tentakel</span>Håller forskaren måttet, månne?

Så korrelerar bibliometrin med peer review

Tidningshög

<span class="bldtextfoto">Foto: Tentakel</span>"Jodå, den här forskaren har fler publikationener..."

Bibliometri, publiceringsstatistik, är ett omstritt verktyg för bedömning av forskningskvalitet.
Ändå används det.
Men hur väl överensstämmer bibliometrin med peer review?
— Allt fler av våra granskare som rankar ansökningar till projektbidrag, tar fram publiceringslistor och tittar på citeringsdata. Med det sker lite hipp som happ, säger Arne Johansson, huvudsekretare i ämnesrådet för naturvetenskap och teknikvetenskap.

Risken är dessutom att citeringsdata blir felaktiga eftersom olika granskare använder olika databaser. Dessutom kan det bli svårt när forskare har vanliga namn, felstavade namn — eller helt enkelt gift sig och bytt namn.

Pilotstudie

För att försöka ta reda på hur väl granskarnas betyg korrelerar med bibliometrin, gjorde Vetenskapsrådets analysavdelning en pilotstudie av 2006 års ansökningar inom två områden; cell- och molekylärbiologi samt signaler och system.

Analytikern Staffan Karlsson tittade på 180 ansökningar. 12 av dem hade fått högsta betyget 5. Men resultatet var oväntat: — Ingen av dem som fått högsta betyg hade hög citeringsgrad. Och de som var högst citerade hade fått betyg 3 och 4 i granskarnas bedömningar.

Större material krävs

Staffan Karlsson vill dock inte dra några förhastade slutsatser, utan säger att det kan vara en tillfällighet, att man måste titta på ett större material.

— Det finns inga skäl att ifrågasätta den betygsättning som gjorts. De ansökningar som fått högsta betyg kan vara av högsta klass, även om den sökande ännu inte hunnit bli citerad efter förtjänst. Eller så har beredningsgrupperna i det här fallet inte varit så bra på att fånga upp forskare med bra publiceringsmeriter, spekulerar han.

— Dessutom är hög citering inte detsamma som hög kvalitet, konstaterar Staffan Karlsson och påpekar att en artikel kan bli högt citerad för att den beskriver något som många arbetar med, utan att i sig själv vara lysande.

En annan möjlig förklaring till det oväntade resultatet är att de som fått betyget 5 har sina mest citerade artiklar publicerade för mer än åtta år sedan. I så fall kommer de inte med i analysen eftersom publikationslistorna är begränsade till de senaste åtta åren.

Utarbeta policy

Vetenskapsrådet funderar på att använda bibliometriska uppgifter mer systematiskt vid beredning av ansökningar om projektbidrag — kanske redan nästa år. Men då krävs en utarbetad policy.

Egentligen handlar det om två saker. Dels hur publikationslistorna med citeringsdata ska samlas in, dels hur uppgifterna ska användas. Ett förslag är att låta forskarna själva i ansökan lista sina publikationer och ange citeringsfrekvenser, för att undvika misstag. "Ett komplement"— Bibliometri måste användas på ett kontrollerat sätt. Det ska vara ett komplement till peer review och får inte komma i första hand vid bedömningar. Vi måste se upp så att inte unga forskare, som ännu inte hunnit samla på sig så många meriter, missgynnas, säger Arne Johansson.

Barbara Cannon, professor i fysiologi i Stockholm och ledamot i ämnesrådet, är skeptisk till att förlita sig alltför mycket på citeringsdata vid bedömning av ansökningar:
— Jag är rädd att folk tenderar att använda de bibliometriska uppgifterna istället för att läsa ansökan och bedöma kvaliteten. Det kan också bli ett problem när man analyserar bedömningsgruppernas resultat i efterhand och jämför med citeringsfrekvenser, underförstått att man har gjort rätt om de överensstämmer. Risken är att man därigenom påverkar bedömningsgrupperna att följa citeringsfrekvenser snarare än att bedöma kvaliteten.

Fotnot 1: Läs även artikeln Svenskar citeras mer än snittetlänk till annan webbplats i Tentakel Nr 4 2006.
Fotnot 2: Läs även artikeln Ska de mest citerade forskarna få mest pengarlänk till annan webbplats i Tentakel Nr 4 2006.

Eva Barkeman

Datum: 2008-03-14
Skriv ut

Kommentarer

Kommentarsfunktionen är avstängd.
Välkommen tillbaka med dina kommentarer i den nya webbtidningen Curie från Vetenskapsrådet som lanserades 2012.
Ansvarig utgivare: Tomas Nilsson. Redaktör: Eva Barkeman.
Allt material på www.tentakel.vr.se är skyddat enligt lagen om upphovsrätt. Citera gärna artiklar men ange alltid källa.