"Pengar kan lindra psykiska sjukdomar bättre än medicin visar nu studie." Det måste vara sant, för jag har läst det i DN. Och i Expressen. Och hos SVT. Och i SvD. Und so weiter. Längst går ETC som under rubriken "Pengar bättre än piller?" har en lång artikel om de påstådda framgångarna som presenterats i den studie av en Alain Topor vid Socialhögskolan.
Vilket är lite underligt, med tanke på att studien inte ger något stöd för dylika påståenden. Eller särskilt många andra påståenden heller. ETC kallar försöket för "kontroversiellt" vilket väl kanske stämmer i någon bemärkelse, men resultaten som presenteras i artikeln lär inte överraska någon.
Men låt oss börja från början.
Experimentet gå ut på att under en period ge psykiskt sjuka personer i en kommun 500 kr i månaden att spendera på vad de vill och sedan jämföra dessa med psykiskt sjuka personer i en grannkommun som inte får några pengar. Tanken är att de som får en slant att lägga på s.k. guldkant på vardagen borde må bättre än de som inte får det. Redan här kan vi alltså avfärda att pengar skulle vara bättre än piller, eftersom det över huvud taget inte undersöks. Bättre än så här är alltså inte svenska nyhetsförmedlare på att granska vetenskap. På SVT:s nyhetsportal kan man läsa följande:
Forskarna föreslår att våra politiker och myndigheter ska överväga om inte den medicinska behandlingen av psykiskt sjuka bör kompletteras och i vissa fall till och med ersättas med sociala insatser. Rapporten från undersökningen har nyligen överlämnats till Socialstyrelsen och Sveriges kommuner och landsting (SKL).
– Men hittills mest mötts av "hövligt ointresse", säger Alain Topor.
Inga problem. Nu tar vi och visar studien det intresse den förtjänar.
Så vad visar Topors studie egentligen?
Korta versionen: Ingen aning. Eller kanske snarare: Antagligen inget. Det är svårt att avgöra. Artikeln är nämligen inte publicerad i en peer-reviewad tidskrift och har därför undgått de sedvanliga kraven på transparent metod, deskriptiv statistik eller klara effektmått. Som hastigast nämns att ett CHI2-test av något gjorts vid något tillfälle, men exakt vilka statistiska jämförelser som gjorts, om man korrigerat för multipla jämförelser och andra småsaker som hade varit nödvändiga för att bedöma nyhetsvärdet i studiens fynd utelämnas.
Detta är antagligen anledningen till att experimentets kvantitativa "fynd" presenteras som de gör: De patienter som fått pengar uppvisat en signifikant förbättring av depression och ångest, självbild, livskvalitet samt socialt nätverk. Jämfört med sig själva, that is. Ingenstans sägs att de mår bättre än gruppen som inte fick några pengar, vilket gissningsvis betyder att man inte hittade någon signifikant skillnad i den jämförelsen (eller helt enkelt inte brydde sig om att se efter). Däremot betonas att kontrollgruppen, som inte fick några pengar, inte uppvisar några signifikanta förbättringar, så då måste väl pengarna kunna sägas ha visats ge effekt? Om insats A leder till en signifikant förbättring mellan tidpunkt 1 och 2 men insats B inte gör det så måste väl A vara signifikant bättre än B?
Självklart inte. Var inte fånig. Om grupperna man testar A respektive B på är någorlunda jämförbara så är det fullt möjligt att A kommer visa sig bättre än B om man bemödar sig att göra en statistisk jämförelse. Problemet i detta fall är att de inte ens nästan är jämförbara och att man i alla fall inte bemödat sig att presentera en sådan jämförelse. Låt oss börja med gruppernas jämförbarhet.
Till att börja med så är de inte randomiserade, utan har tilldelats insats beroende på vilken kommun de bor i. Detta behöver inte vara ett jättestort problem, men utan någon deskriptiv statistik som visar hur lika eller olika patienter i dessa kommuner är så är det en ganska stor sak att be om av sin läsare. Vad värre är: Författarna medger att grupperna faktiskt skiljer sig åt i fråga om förekomst av schizofreni och neuropsykiatriska diagnoser och erbjuder en förklaring till varför det skulle kunna vara så, men struntar i att försöka korrigera för skillnaden eller presentera vilken effekt detta kan tänkas haft på resultatet. Nu börjar det krävas väldigt mycket välvilja av studiens granskare.
Men hur kan det komma sig att inga signifikanser dyker upp i gruppen som inte fick några slantar då? Jo, i ett infall av vad vi kan kalla genialitet så har man gjort kontrollgruppen en tredjedel så stor som gruppen som fick pengar. Detta är i sig helt okej och förekommer ofta i kliniska prövningar, men det ligger i signifikansers natur att bli fler ju större gruppstorlek du har. Ingenstans i artikeln presenteras konfidensintervall av något slag, men antagligen är kontrollgruppen helt enkelt för liten för att man ska kunna se någon signifikant förändring från ett mättillfälle till ett annat.
Det man har sett är alltså att den större gruppen i studien har blivit bättre över tid medan den mindre inte blivit det, men man har inte jämfört grupperna med varandra. Detta är exakt samma fynd som studiens huvudsakliga inspiration, en amerikansk studie från 2004, presenterar. Den amerikanska studien såg inga andra effekter än en generell förbättring över tid - fast för alla grupper, eftersom gruppstorlekarna var betydligt större. Den rimliga slutsatsen av detta borde vara att psykiskt sjuka är lika mottagliga för placeboeffekten som alla andra, men genom att gå in med en rätt hårdhänt post hoc-analys av resultaten lyckas Davidson et al ändå klämma fram effekter som de menar är relevanta. Om man verkligen vill så kan man förstås välja att tro på dem, men det enda vi säkert kan säga om de båda studierna är att alla studiegrupper, oavsett vilken insats de erhåller, uppvisar signifikanta förbättringar över tid om de är tillräckligt stora. Detta är så långt ifrån kontrovers man kan komma.
Det är förstås en väldigt tilltalande slutsats: Att det skulle vara bättre att ge pengarna direkt till brukarna än att behöva gå omvägen via läkemedel. Att socioekonomisk status och psykiatrisk ohälsa hör ihop är välkänt sedan länge. Problemet är bara att studien för det första inte undersöker detta och för det andra är en sådan ohygglig styggelse till oreda att den aldrig hade godkänts om den kallats för studentuppsats.
Av detta lär vi oss något som jag för länge sedan insett att man inte lär ut på någon journalistutbildning:
Läs den jävla artikeln innan ni skriver om den.
No comments:
Post a Comment