Da funksjonell magnetisk resonansavbildning (fMRI) ble introdusert på slutten av 1990-tallet, trakk den rekorder for sin evne til å vise hjerneaktivitet - og bekymrer seg for at det kan være det moderne ekvivalentet med frenologi. Nå kan den debatten livnære seg igjen med avsløringer om at den populære bildeteknologien kunne ha vært mangelfull i årevis. Som Kate Lunau skriver for Motherboard, tyder ny forskning på at programvare som brukes til å analysere fMRI-resultater kan ugyldiggjøre opptil 40 000 studier av hjerneaktivitet.
Vitenskapen fungerer aldri i et vakuum - å reprodusere resultater om og om igjen er sentralt i forskningen. Men en ny artikkel publisert i tidsskriftet PNAS stiller spørsmål om reproduserbarheten av fMRI-studier, skriver Lunau. Analysen undersøkte fMRI-data fra hviletilstand fra 499 friske mennesker. Forskere delte personene i grupper og brukte tre statistiske pakker som vanligvis brukes til å analysere fMRI-data for å utføre tre millioner sammenligninger.
Siden dataene som ble brukt var om mennesker hvis hjerner ikke var spesielt aktive, så de burde ikke ha vist noen signifikante trender med nevral aktivitet. Forskere forventet å finne falske positiver - det vil si resultater som viser at folks hjerner ikke var i ro - omtrent fem prosent av tiden. Men det var her de forventede resultatene brøt sammen: I stedet for å vise en sjansen på fem prosent for å finne en falsk positiv, avslørte analysen 70 prosent sjanse.
En feil i et av programvarene som ble brukt til å analysere fMRI-er, synes i det minste delvis å ha skylden. Da forskerne rapporterte om funnene sine til programvareprodusenter, skriver Lunau, svarte de med sine egne analyser og i ett tilfelle kodeendringer. Men studien stiller spørsmål ved flere tiår med forskning som er avhengig av fMRI-studier som brukte den mangelfulle koden.
"Det er ikke mulig å gjøre om 40 000 fMRI-studier, og beklagelig arkivering og datadeling gjør at de fleste ikke kunne gjenanalyseres heller, " skriver teamet.
Studien har forårsaket en oppblussing blant forskere som er avhengige av fMRI. Men hvor ille er problemet? Ikke så ille som du kanskje tror, sier Discover "Neuroskeptic." Kommentatoren påpeker at problemet bare gjelder en statistisk pakke, og at opptil 70 prosent av studiene som inneholder minst en falsk positiv, ikke betyr at 70 prosent av studier er faktisk ugyldige eller usanne. Videre, skriver Neuroskeptic, påvirker problemet bare en liten prosentandel av hjernestudier - de som omhandler hjerneaktivering.
Uansett vil studien sannsynligvis spille inn i en større debatt innen vitenskap og hjerne: reproduserbarhet. Siden en gigantisk internasjonal innsats som kalte muligheten til å reprodusere psykologistudier i fjor, har debatten om hvordan man kan gjøre forskningen mer pålitelig og reproduserbar, blitt varm. (Den aktuelle studien var kontroversiell og fortsetter å bli diskutert, spesielt blant psykologisamfunnet.) I mai publiserte tidsskriftet Science resultatene fra en studie med 1500 forskere om reproduserbarhet. Over 70 prosent rapporterte at de hadde prøvd og ikke lyktes i å reprodusere andres forskning, og mer enn 60 prosent listet opp selektiv rapportering og press for å publisere som grunner studier som ikke er reproduserbare er publisert. Mer enn halvparten av de spurte (52 prosent) kalte reproduserbarhet "en betydelig krise" i vitenskapen - ikke overraskende, gitt at forskere har problemer med å bli enige om hva ordet til og med betyr.
Men fortvil ikke: Som Monya Baker skriver for skifer, er nykommer med reproduserbarhet sannsynligvis bra for vitenskapen og gir økt synlighet og finansiering for mer pålitelige resultater. "Samlet, " skriver Baker, forsøk på å gjøre arbeidet mer reproduserbart "... kunne hindre forskere i å bli blidely å følge opp arbeid som ikke kan reproduseres eller lade ned stier andre har kartlagt som blindveier." Studier som den som kaller fMRI hjerneaktiveringsresultatene som er snakk om, er edruelige, men selv om de potensielt kan sitte usikre år med forskning, kan de presse vitenskapen til en mer pålitelig fremtid.
