Vad ska hända med uppenbara fall av forskningsfusk? Hur
nitiskt bör institutioner och redaktörer rota ut ruttna ägg ur redan publicerat
material och har detta ens någon betydelse för forskarvärlden i stort? Jag hade
egentligen tänkt skriva om detta utan att nämna Paolo Macchiarini, men allt
eftersom skandalen kring Karolinskas stjärnkirurg rullas upp i media blir det
svårare och svårare att ta upp dessa frågor utan att han kommer på tal. Här
följer i alla fall ett försök att reda ut en del kring ovanstående frågor.
Macchiarini är alltså, för den som missat Vanity Fairs smått
bisarra reportage om honom och Dokument Inifråns två första program om hans katastrofala
transplantationsförsök, kirurgen på Karolinska Institutet som utmanar om titeln Mest Ökända Fuskare
Någonsin. Under några år gjorde han sig ett namn som den förste som lyckats
transplantera in ett syntetiskt organ täckt med stamceller, tills hans kollegor
slog larm om att inte allt stod rätt till. I maj 2015 resulterade detta i en
rapport som uppmärksammades i bl.a. Science som slog fast att sju av Macchiarinis artiklar var missvisande eller direkt
lögnaktiga. Konkret så handlar det om att experimentera på människa utan etiskt
tillstånd och att skönmåla resultaten av kirurgin, inklusive att framställa ett
ingrepp som framgångsrikt trots att det ledde till patientens död. Macchiarini
själv har reagerat med att skriva ett öppet brev där han anklagar sina granskare för ohederlighet och försvarar sig med att han
aldrig tvingats dra tillbaka någon av studierna eller fällts för något och att
allt därför är som det ska. Det är inte ofta kirurger säger att operationen var
en framgång bortsett från att patienten dog utan att avsiktligt försöka
parodiera hela sin yrkeskår. Macchiarini är en fuskare i alla meningsfulla
bemärkelser av ordet, men än så länge har de granskade artiklarna inte dragits tillbaka.
Vad innebär det att en artikel dras tillbaka och varför
spelar detta någon roll? En vetenskaplig studie kan dras tillbaka på initiativ
av författarna eller redaktören på den tidskrift som publicerat den. Orsakerna
varierar, men det kan röra sig om allt från relativt oskyldiga saker som att
resultaten förvrängts av ren klantighet till att data avsiktligt förfalskats
och liknande ohederlighet. Att dra tillbaka en eller rent av flera av sina artiklar
kan med andra ord uppfattas som både hedervärt, om det handlar om att rätta ett
ärligt misstag, och som en skampåle för den som ertappats med handen i
kakburken. Mellan 1982 och 2002 var oavsiktliga misstag den vanligaste orsaken
till att studier drogs tillbaka, men andelen artiklar som dras tillbaka på grund av direkt fusk har ökat under
senare år till den grad att ohederlighet och fusk stod för två tredjedelar av
tillbakadragna artiklar år 2012. Oavsett vilken anledningen är till att en artikel dras tillbaka så blir
resultatet att förläggaren markerar den som retracted.
Framtida läsare kan granska innehållet, samtidigt som det framgår att artikeln
i sin helhet är så bristfällig att resultat och slutsatser inte är pålitliga,
oavsett vilken anledningen må ha varit till att den drogs tillbaka till att
börja med. Det är den sista försvarslinjen i den akademiska världens
referentgranskningssystem som ska stå som garant för vetenskapens transparens
och förmåga att rätta sina egna misstag.
Frågan blir då vilken effekt sådana korrigeringar verkligen
får. Ett av årets nyord 2015 var faktaresistens,
och det finns en oro för att ingen eller alltför få bryr sig om att misstag
rättas. I USA marknadsfördes munsköljen Listerine under mer än 50 år som en
effektiv behandling mot förkylningar och halsont, tills en federal domstol
beslutade att tillverkaren inte bara var tvungen att upphöra med detta och
liknande påståenden, utan också offentligt göra avbön från dem. I 16 månader
från 1978 till 1980 sändes TV-annonser till den då anmärkningsvärda kostnaden
10 miljoner dollar där alla tidigare påståenden om Listerines effekt mot
förkylning drogs tillbaka. Problemet var bara att konsumenter fortsatte att tro
att det var en verksam behandling mot förkylning i alla fall, trots att de
kände till annonserna. Oron att forskare kanske reagerar mer som konsumenter av munvatten än man hade
kunnat önska är välgrundad. Den enskilt mest citerade, vilket räknat kan
översättas till mest inflytelserika eller betydelsefulla, tillbakadragna
artikeln någonsin har fått mer än 75% av sina citeringar efter
det att den drogs tillbaka 2007. Skulle det ens spela någon roll om
Macchiarinis artiklar drogs tillbaka? Det går förstås inte att spå in i framtiden,
men Macchiarinis fall liknar två andra uppmärksammade fall av forskningsfusk,
som hanterats på väldigt olika sätt.
Att fuska i sju studier må vara illa, men än så länge hålls
rekordet för flest tillbakadragna artiklar av den japanske anestesiologen
Yoshitaka Fujii, som 2012 tvingades dra tillbaka inte färre än 172 enskilda studier. Det hela började
redan år 2000 då några forskare i en insändare med mycket illa dold sarkasm
konstaterade att Fujiis resultat var ”incredibly
nice!” I likhet med Macchiarini hade han strösslat sina artiklar med vad som var tänkt
att uppfattas som samvetsgranna rapporter av de biverkningar hans försökspersoner
upplevt. Till skillnad från Macchiarini så ”glömde” Fujii inte att nämna att
han faktiskt tagit kål på sina patienter. Fusket låg i att uppgifterna om
biverkningar var helt och hållet påhittade, vilket också ledde till att det
upptäcktes då de följaktligen var orealistiskt lindriga. Tio år och ett antal skandaler
senare så var det uppenbart att Fujii dragit samma skröna 172 gånger och
samtliga artiklar drogs tillbaka.
Som kontrast till detta tittar vi på Fazlul Sarkar,
världsberömd och numera ökänd patolog i USA. För ett par år sedan började folk
få upp ögonen för detaljer i Sarkars artiklar på forskningscomunityt PubPeer. Där ägnar sig
medlemmar av vad som på engelska brukar kallas post publication peer review, det vill säga ett slags retroaktiv referentgranskning.
Histologibilder verkade ha förfalskats och frågetecken dök upp om flera av
Sarkars western blots. Det verkar som om åtminstone en handfull av hans mycket
imponerande rad av publikationer innehåller direkt fusk. Sarkars blivande
arbetsgivare University of Mississippi hörde talas om oegentligheterna och
valde att riva hans anställningskontrakt och i ett klassiskt fall av att skjuta
budbäraren så ligger Sarkar sedan dess i en rättslig tvist med PubPeer. Till
skillnad från Fujii så har Sarkar inte tvingats dra tillbaka någon artikel, i
alla fall inte än, men fallet är omskrivet i t.ex. Nature och Science så det är ingen överdrift att säga att han och hans forskning är ungefär så
ifrågasatt man kan bli utan att faktiskt dra tillbaka några artiklar.
Så hur står sig Fujiis respektive Sarkars artiklar mot
varandra i en jämförelse?
Låt oss börja med att titta på hur det gått för Fujiis
artiklar sedan de drogs tillbaka. Både Google Scholar och Web of Science markerar
tillbakadragna artiklar, citeringar och har öppna APIn, så har man bara lite
programmeringsfärdigheter är det lätt att följa antalet citeringar per år.
Tyvärr så har jag inte lite programmeringsfärdigheter så det är inte ett
alternativ, men jag är ganska envis. Om man plottar antalet citeringar (För de av
Fujiis arbeten som citeras över huvud taget. Förvånansvärt många av de
tillbakadragna artiklarna har inte citerats alls. Man kan tycka att en så
nitisk fuskare hade kunnat koka ihop lite intressantare artiklar.) före
tillbakadragningen, sedan tillbakadragningen minus år 2015 samt till slut för
enbart år 2015 så ser det ut så här:
Redan här kan man ana att Fujii kämpat med sin trovärdighet
sedan debatten om hans eventuella fuskande tog fart i början av 2000-talet.
Antalet citeringar minskar och av de som återstår är flera olika analyser och
brev till redaktörer som argumenterar för att Fujiis arbeten baseras på fusk.
Men inte alla. Flera av de tillbakadragna studierna citeras i två olika meta-analyser utgivna flera år efter studierna officiellt drogs in och
klassificerar genomgående Fujiis studier som välgjorda och tillskriver den
fabricerade datan i dem högt evidensvärde. Onekligen finns en tendens till
faktaresistens även bland kritiskt granskande forskare. Om man istället plottar
andelen av citeringar tillhörande de tre tidsintervallerna så ser det ut så
här:
Även om plotten är rätt brusig så ser man en sak rätt
tydligt: De flesta av Fujiis citeringar som tillkommit efter att artiklarna
dragits tillbaka är i relativt nypublicerade artiklar. Detta stämmer överens
med att vetenskapliga artiklar över lag har relativt korta bäst före-datum och
flera av dessa citeringar kommer säkert från artiklar som var på väg i tryck
när Fujiis artiklar drogs tillbaka. Därför räknar vi antalet citeringar under
2015 också, vilket är tillräckligt långt efter att artiklarna dragits tillbaka
för att säkert kunna anta att de texter som citerar Fujii bör ha haft bättre
koll. Den mörkröda andelen av citeringarna förefaller också vara betryggande
liten. Forskare kanske inte är så dumma i alla fall.
Låt oss nu jämföra med Fazlul Sarkars kritiserade artiklar.
Dessa har som sagt inte dragits tillbaka och det är inte
alls säkert att de allihop innehåller avsiktligt fusk, men poängen är inte att
avgöra om de borde dras tillbaka utan om de tagit skada av att folk anser att
de borde dras tillbaka och skandalerna som följt med detta. Med undantag för en
artikel publicerad 2014 så är samtliga publicerade innan Fujiis studier drogs
tillbaka. Om man plottar de omdebatterade studierna som ovan så ser det ut så
här:
Det finns mycket som skiljer de två forskarna åt, men Sarkar
verkar onekligen ha varit populärare år 2015, även om man bortser från hans
högre antal citeringar i absoluta tal. Vill man kan man göra ett T-test på
andelen av Sarkars publikationer som kom det året och jämföra det med Fujiis
publikationer från samma period (jämför man med alla Fujiis tillbakadragna publikationer
så får man väldigt stora skillnader, men av uppenbara skäl är de inte att lita
på), och det vill vi förstås:
Sarkar
|
Fujii
|
|
Medelvärde
|
0,171079
|
0,056906
|
Varians
|
0,019433
|
0,003184
|
Observationer
|
13
|
13
|
Antagen medelvärdesskillnad
|
0
|
|
fg
|
16
|
|
t-kvot
|
2,73727
|
|
P(T<=t) ensidig
|
0,007306
|
|
t-kritisk ensidig
|
1,745884
|
|
P(T<=t) tvåsidig
|
0,014611
|
|
t-kritisk tvåsidig
|
2,119905
|
I vår ovetenskapliga lilla studie så verkar det i alla fall
som om det finns en signifikant skillnad mellan Sarkars och Fujiis popularitet
år 2015 (jämfört med tidigare år), till den förstnämndes fördel. Fujiis
vetenskapliga karriär förefaller vara över i och med tillbakadragningarna. Han
har fortsatt att publicera nya, förmodat korrekta studier sedan 2012 som
(egenciteringar oräknade) citerats sammanlagt sju gånger. Ouch. Sarkars inflytande däremot, knatar på relativt
obehindrat. Detta kan delvis förklaras av att välciterade artiklar har längre
livslängd än sina mindre populära syskon, men även Fujii har en del rätt
framgångsrika publikationer, som dock är mer eller mindre stendöda sedan de
drogs tillbaka.
Frågan är då vilken bana vi vill att Macchiarinis karriär
ska ta. Som fusk räknat är hans artiklar ytterst genomsnittliga: Publicerade i stora tidskrifter med ansvaret spritt över många medförfattare
och publicerade från länder med tvivelaktig forskningsinfrastruktur, som t.ex.
Ryssland. Det som gör Macchiarinis fusk så unikt är inte kopplat till rent
vetenskapliga värden, utan att han tagit livet av folk som hade kunnat leva
fullgoda liv och hans slående kluster B-personlighet. Icke desto mindre så
spelar det roll om de kritiserade artiklarna får finnas kvar som del av den
nominellt respektabla forskningsvärlden. Med tanke på att fusket är publicerat
i så pass väl ansedda tidskrifter som de är, som i och för sig naturligtvis
drar till sig fler fuskare men därför också är väldigt nitiska när det gäller
att dra tillbaka tvivelaktiga artiklar så är det inte otroligt att så också kommer ske, förr eller senare. Men inte
minst av rättviseskäl är det önskvärt att Macchiarinis karriär blir som Fujiis
och inte som Sarkars.