Vad bör hända med Macchiarinis artiklar?

Vad ska hända med uppenbara fall av forskningsfusk? Hur nitiskt bör institutioner och redaktörer rota ut ruttna ägg ur redan publicerat material och har detta ens någon betydelse för forskarvärlden i stort? Jag hade egentligen tänkt skriva om detta utan att nämna Paolo Macchiarini, men allt eftersom skandalen kring Karolinskas stjärnkirurg rullas upp i media blir det svårare och svårare att ta upp dessa frågor utan att han kommer på tal. Här följer i alla fall ett försök att reda ut en del kring ovanstående frågor.

Macchiarini är alltså, för den som missat Vanity Fairs smått bisarra reportage om honom och Dokument Inifråns två första program om hans katastrofala transplantationsförsök, kirurgen på Karolinska Institutet som utmanar om titeln Mest Ökända Fuskare Någonsin. Under några år gjorde han sig ett namn som den förste som lyckats transplantera in ett syntetiskt organ täckt med stamceller, tills hans kollegor slog larm om att inte allt stod rätt till. I maj 2015 resulterade detta i en rapport som uppmärksammades i bl.a. Science som slog fast att sju av Macchiarinis artiklar var missvisande eller direkt lögnaktiga. Konkret så handlar det om att experimentera på människa utan etiskt tillstånd och att skönmåla resultaten av kirurgin, inklusive att framställa ett ingrepp som framgångsrikt trots att det ledde till patientens död. Macchiarini själv har reagerat med att skriva ett öppet brev där han anklagar sina granskare för ohederlighet och försvarar sig med att han aldrig tvingats dra tillbaka någon av studierna eller fällts för något och att allt därför är som det ska. Det är inte ofta kirurger säger att operationen var en framgång bortsett från att patienten dog utan att avsiktligt försöka parodiera hela sin yrkeskår. Macchiarini är en fuskare i alla meningsfulla bemärkelser av ordet, men än så länge har de granskade artiklarna inte dragits tillbaka.

Vad innebär det att en artikel dras tillbaka och varför spelar detta någon roll? En vetenskaplig studie kan dras tillbaka på initiativ av författarna eller redaktören på den tidskrift som publicerat den. Orsakerna varierar, men det kan röra sig om allt från relativt oskyldiga saker som att resultaten förvrängts av ren klantighet till att data avsiktligt förfalskats och liknande ohederlighet. Att dra tillbaka en eller rent av flera av sina artiklar kan med andra ord uppfattas som både hedervärt, om det handlar om att rätta ett ärligt misstag, och som en skampåle för den som ertappats med handen i kakburken. Mellan 1982 och 2002 var oavsiktliga misstag den vanligaste orsaken till att studier drogs tillbaka, men andelen artiklar som dras tillbaka på grund av direkt fusk har ökat under senare år till den grad att ohederlighet och fusk stod för två tredjedelar av tillbakadragna artiklar år 2012. Oavsett vilken anledningen är till att en artikel dras tillbaka så blir resultatet att förläggaren markerar den som retracted. Framtida läsare kan granska innehållet, samtidigt som det framgår att artikeln i sin helhet är så bristfällig att resultat och slutsatser inte är pålitliga, oavsett vilken anledningen må ha varit till att den drogs tillbaka till att börja med. Det är den sista försvarslinjen i den akademiska världens referentgranskningssystem som ska stå som garant för vetenskapens transparens och förmåga att rätta sina egna misstag.

Frågan blir då vilken effekt sådana korrigeringar verkligen får. Ett av årets nyord 2015 var faktaresistens, och det finns en oro för att ingen eller alltför få bryr sig om att misstag rättas. I USA marknadsfördes munsköljen Listerine under mer än 50 år som en effektiv behandling mot förkylningar och halsont, tills en federal domstol beslutade att tillverkaren inte bara var tvungen att upphöra med detta och liknande påståenden, utan också offentligt göra avbön från dem. I 16 månader från 1978 till 1980 sändes TV-annonser till den då anmärkningsvärda kostnaden 10 miljoner dollar där alla tidigare påståenden om Listerines effekt mot förkylning drogs tillbaka. Problemet var bara att konsumenter fortsatte att tro att det var en verksam behandling mot förkylning i alla fall, trots att de kände till annonserna. Oron att forskare kanske reagerar mer som konsumenter av munvatten än man hade kunnat önska är välgrundad. Den enskilt mest citerade, vilket räknat kan översättas till mest inflytelserika eller betydelsefulla, tillbakadragna artikeln någonsin har fått mer än 75% av sina citeringar efter det att den drogs tillbaka 2007. Skulle det ens spela någon roll om Macchiarinis artiklar drogs tillbaka? Det går förstås inte att spå in i framtiden, men Macchiarinis fall liknar två andra uppmärksammade fall av forskningsfusk, som hanterats på väldigt olika sätt.

Att fuska i sju studier må vara illa, men än så länge hålls rekordet för flest tillbakadragna artiklar av den japanske anestesiologen Yoshitaka Fujii, som 2012 tvingades dra tillbaka inte färre än 172 enskilda studier. Det hela började redan år 2000 då några forskare i en insändare med mycket illa dold sarkasm konstaterade att Fujiis resultat var ”incredibly nice!” I likhet med Macchiarini hade han strösslat sina artiklar med vad som var tänkt att uppfattas som samvetsgranna rapporter av de biverkningar hans försökspersoner upplevt. Till skillnad från Macchiarini så ”glömde” Fujii inte att nämna att han faktiskt tagit kål på sina patienter. Fusket låg i att uppgifterna om biverkningar var helt och hållet påhittade, vilket också ledde till att det upptäcktes då de följaktligen var orealistiskt lindriga. Tio år och ett antal skandaler senare så var det uppenbart att Fujii dragit samma skröna 172 gånger och samtliga artiklar drogs tillbaka.

Som kontrast till detta tittar vi på Fazlul Sarkar, världsberömd och numera ökänd patolog i USA. För ett par år sedan började folk få upp ögonen för detaljer i Sarkars artiklar på forskningscomunityt PubPeer. Där ägnar sig medlemmar av vad som på engelska brukar kallas post publication peer review, det vill säga ett slags retroaktiv referentgranskning. Histologibilder verkade ha förfalskats och frågetecken dök upp om flera av Sarkars western blots. Det verkar som om åtminstone en handfull av hans mycket imponerande rad av publikationer innehåller direkt fusk. Sarkars blivande arbetsgivare University of Mississippi hörde talas om oegentligheterna och valde att riva hans anställningskontrakt och i ett klassiskt fall av att skjuta budbäraren så ligger Sarkar sedan dess i en rättslig tvist med PubPeer. Till skillnad från Fujii så har Sarkar inte tvingats dra tillbaka någon artikel, i alla fall inte än, men fallet är omskrivet i t.ex. Nature och Science så det är ingen överdrift att säga att han och hans forskning är ungefär så ifrågasatt man kan bli utan att faktiskt dra tillbaka några artiklar.

Så hur står sig Fujiis respektive Sarkars artiklar mot varandra i en jämförelse?

Låt oss börja med att titta på hur det gått för Fujiis artiklar sedan de drogs tillbaka. Både Google Scholar och Web of Science markerar tillbakadragna artiklar, citeringar och har öppna APIn, så har man bara lite programmeringsfärdigheter är det lätt att följa antalet citeringar per år. Tyvärr så har jag inte lite programmeringsfärdigheter så det är inte ett alternativ, men jag är ganska envis. Om man plottar antalet citeringar (För de av Fujiis arbeten som citeras över huvud taget. Förvånansvärt många av de tillbakadragna artiklarna har inte citerats alls. Man kan tycka att en så nitisk fuskare hade kunnat koka ihop lite intressantare artiklar.) före tillbakadragningen, sedan tillbakadragningen minus år 2015 samt till slut för enbart år 2015 så ser det ut så här:

Redan här kan man ana att Fujii kämpat med sin trovärdighet sedan debatten om hans eventuella fuskande tog fart i början av 2000-talet. Antalet citeringar minskar och av de som återstår är flera olika analyser och brev till redaktörer som argumenterar för att Fujiis arbeten baseras på fusk. Men inte alla. Flera av de tillbakadragna studierna citeras i två olika meta-analyser utgivna flera år efter studierna officiellt drogs in och klassificerar genomgående Fujiis studier som välgjorda och tillskriver den fabricerade datan i dem högt evidensvärde. Onekligen finns en tendens till faktaresistens även bland kritiskt granskande forskare. Om man istället plottar andelen av citeringar tillhörande de tre tidsintervallerna så ser det ut så här:

Även om plotten är rätt brusig så ser man en sak rätt tydligt: De flesta av Fujiis citeringar som tillkommit efter att artiklarna dragits tillbaka är i relativt nypublicerade artiklar. Detta stämmer överens med att vetenskapliga artiklar över lag har relativt korta bäst före-datum och flera av dessa citeringar kommer säkert från artiklar som var på väg i tryck när Fujiis artiklar drogs tillbaka. Därför räknar vi antalet citeringar under 2015 också, vilket är tillräckligt långt efter att artiklarna dragits tillbaka för att säkert kunna anta att de texter som citerar Fujii bör ha haft bättre koll. Den mörkröda andelen av citeringarna förefaller också vara betryggande liten. Forskare kanske inte är så dumma i alla fall.

Låt oss nu jämföra med Fazlul Sarkars kritiserade artiklar.

Dessa har som sagt inte dragits tillbaka och det är inte alls säkert att de allihop innehåller avsiktligt fusk, men poängen är inte att avgöra om de borde dras tillbaka utan om de tagit skada av att folk anser att de borde dras tillbaka och skandalerna som följt med detta. Med undantag för en artikel publicerad 2014 så är samtliga publicerade innan Fujiis studier drogs tillbaka. Om man plottar de omdebatterade studierna som ovan så ser det ut så här:

Det finns mycket som skiljer de två forskarna åt, men Sarkar verkar onekligen ha varit populärare år 2015, även om man bortser från hans högre antal citeringar i absoluta tal. Vill man kan man göra ett T-test på andelen av Sarkars publikationer som kom det året och jämföra det med Fujiis publikationer från samma period (jämför man med alla Fujiis tillbakadragna publikationer så får man väldigt stora skillnader, men av uppenbara skäl är de inte att lita på), och det vill vi förstås:

	Sarkar	Fujii
Medelvärde	0,171079	0,056906
Varians	0,019433	0,003184
Observationer	13	13
Antagen medelvärdesskillnad	0
fg	16
t-kvot	2,73727
P(T<=t) ensidig	0,007306
t-kritisk ensidig	1,745884
P(T<=t) tvåsidig	0,014611
t-kritisk tvåsidig	2,119905

I vår ovetenskapliga lilla studie så verkar det i alla fall som om det finns en signifikant skillnad mellan Sarkars och Fujiis popularitet år 2015 (jämfört med tidigare år), till den förstnämndes fördel. Fujiis vetenskapliga karriär förefaller vara över i och med tillbakadragningarna. Han har fortsatt att publicera nya, förmodat korrekta studier sedan 2012 som (egenciteringar oräknade) citerats sammanlagt sju gånger. Ouch. Sarkars inflytande däremot, knatar på relativt obehindrat. Detta kan delvis förklaras av att välciterade artiklar har längre livslängd än sina mindre populära syskon, men även Fujii har en del rätt framgångsrika publikationer, som dock är mer eller mindre stendöda sedan de drogs tillbaka.

Frågan är då vilken bana vi vill att Macchiarinis karriär ska ta. Som fusk räknat är hans artiklar ytterst genomsnittliga: Publicerade i stora tidskrifter med ansvaret spritt över många medförfattare och publicerade från länder med tvivelaktig forskningsinfrastruktur, som t.ex. Ryssland. Det som gör Macchiarinis fusk så unikt är inte kopplat till rent vetenskapliga värden, utan att han tagit livet av folk som hade kunnat leva fullgoda liv och hans slående kluster B-personlighet. Icke desto mindre så spelar det roll om de kritiserade artiklarna får finnas kvar som del av den nominellt respektabla forskningsvärlden. Med tanke på att fusket är publicerat i så pass väl ansedda tidskrifter som de är, som i och för sig naturligtvis drar till sig fler fuskare men därför också är väldigt nitiska när det gäller att dra tillbaka tvivelaktiga artiklar så är det inte otroligt att så också kommer ske, förr eller senare. Men inte minst av rättviseskäl är det önskvärt att Macchiarinis karriär blir som Fujiis och inte som Sarkars.