Det er vanskelig å argumentere mot vitenskapens kraft. Fra studier som evaluerer den siste kostholdstrenden til eksperimenter som belyser prediktorer for lykke, har mennesker kommet til å se på vitenskapelige resultater i økende grad som konkrete, pålitelige fakta som kan styre hvordan vi tenker og handler.
Relatert innhold
- Forskere reproduserte 100 psykologistudier, og færre enn halvparten fikk de samme resultatene
Men i løpet av de siste årene har en økende kontingent av forskere begynt å stille spørsmål ved den aksepterte sannheten av publisert forskning - selv etter at den har ryddet hindrene for fagfellevurdering og vises i respekterte tidsskrifter. Problemet er en gjennomgripende manglende evne til å gjenskape en stor andel av resultatene på tvers av en rekke fagområder.
I 2005 brukte for eksempel John Ioannidis, professor i medisin ved Stanford University, flere simuleringer for å vise at vitenskapelige påstander mer sannsynlig er usanne enn sant. Og den siste sommeren forsøkte Brian Nosek, professor i psykologi ved University of Virginia, å gjenskape funnene fra 100 psykologistudier og fant at bare 39 prosent av resultatene ble holdt under streng omprøving.
"Det er flere bevislinjer, både teoretiske og empiriske, som har begynt å bringe reproduserbarheten til et betydelig segment av vitenskapelig litteratur i tvil, " sier Ioannidis. "Vi får millioner av papirer som ikke går noe sted."
Disse foreløpige funnene har skapt opprettelsen av et helt nytt felt kalt metaforskning - den vitenskapelige studien av vitenskap.
Denne uken lanserte biologibruken til Public Library of Science (PLOS), en ideell forlegger- og advokatorganisasjon, en ny seksjon som bare er dedikert til metaforskning. Seksjonen vil utforske spørsmål som gjennomsiktighet i forskning, metodiske standarder, kilder til skjevhet, deling av data, finansiering og insentivstrukturer.
For å starte saken evaluerte Ioannidis og hans kolleger et tilfeldig utvalg av 441 biomedisinske artikler publisert mellom 2000 og 2014. De sjekket om disse papirene ga offentlig tilgang til rådata og eksperimentelle protokoller, ble replikert i påfølgende studier, hadde resultatene integrert i systematiske gjennomgang av et fagområde og inkludert dokumentasjon av finansieringskilder og andre potensielle interessekonflikter.
Resultatene deres var vanskeligst sagt. For eksempel ga bare en studie fulle eksperimentelle protokoller, og null studier ga direkte tilgjengelige rådata.
"Dette er to grunnleggende søyler for reproduserbarhet, " sier Ioannidis. "Med mindre data og full protokoll er tilgjengelige, kan man egentlig ikke gjengi noe." Tross alt, uten den sentrale informasjonen, hvordan kan et annet team vite nøyaktig hva de skal gjøre og hvordan resultatene avviker fra resultatene i det originale eksperimentet?
Teamet fant også ut at påstandene til bare åtte av de undersøkte artiklene senere ble bekreftet av påfølgende studier. Og selv om mange av studiene hevdet å ha nye funn, ble resultatene av bare 16 artikler inkludert i senere oversiktsartikler, som fungerer som en lakmus-test for den virkelige effekten av en studie på et bestemt emne.
"Tallene vi får er ganske skumle, " sier Ioannidis. "Men du kan se det som en grunnleggende plassering av hvor vi er nå, og det er god plass til forbedring."
Imidlertid var ikke alle resultatene nedslående. Prosentandelen av artikler uten interessekonflikt sank fra 94, 4 prosent i 2000 til 34, 6 prosent i 2014 - sannsynligvis et resultat av en økende bevissthet om skadelige effekter av skjevhet på forskningsresultater.
I en andre metaforskningsstudie analyserte et tysk team hvordan tapet av dyrepersoner under prekliniske studier kan bidra til den utbredte manglende evnen til å oversette laboratoriefunn til nyttige kliniske medisiner.
Forskningsdyr kan forsvinne fra en studie tilfeldig - for eksempel fordi dyret døde - eller gjennom subtilt partiske handlinger, som å bli fjernet fra forsøket for å eliminere data som undergraver de forventede resultatene. Teamet demonstrerte at den partiske fjerningen av dyrepersoner kan skje resultater og øke sannsynligheten for en falsk positiv - når et nytt stoff antas å virke, men faktisk ikke gjør det.
I en egen analyse av prekliniske studier på hjerneslag og kreft, fant de samme forskerne at de fleste papirer ikke rapporterte tilstrekkelig om tapet av dyr, og at de positive effektene av mange medisiner som ble testet kan bli overvurdert.
Så hvorfor skjer denne krisen i åpenhet og reproduserbarhet i utgangspunktet?
Selv om noen problemer kan ligge i bevisste eller ubevisste forskningsfordelinger, er det sannsynlig at de fleste studier som når publisering er av en slags på grunn av den nåværende insentivstrukturen i vitenskapen.
I den kjeve halsen av akademia er det primære målet for suksess antall studier en forsker får i prestisjetunge tidsskrifter. Som et resultat er forskere under press for å bruke mesteparten av tiden sin på å oppnå de slags gjennombruddresultater som mest sannsynlig vil bli publisert.
"Selv om vi verdsetter reproduserbarhet i konsept, verdsetter vi det ikke i praksis, " sier Nosek, som også er meddirektør for Center for Open Science, en ideell teknologistart som jobber for å fremme åpenhet og reproduserbarhet i vitenskapelig forskning.
”De virkelige insentivene som driver min oppførsel som vitenskapsmann, er å innovere, gjøre nye funn og bryte ny terreng - ikke å gjenta hva andre har gjort. Det er den kjedelige delen av vitenskapen. ”
Forskere ser også få insentiver til å gi den informasjonen som er nødvendig for andre for å gjenskape arbeidet sitt, som er en av de viktigste årsakene til at påstandene fra så mange studier forblir ubekreftet.
"Jeg blir ikke belønnet for å gjøre dataene mine tilgjengelige eller stave metodikken min på noe mer dybde enn det som kreves for å komme inn i en publikasjon, " sier Nosek.
Mange tidsskrifter ber forskere gi en detaljert forklaring av metodene sine og dele data, men disse retningslinjene blir sjelden håndhevet og det er ingen universelle publiseringsstandarder.
“Hvis jeg visste at det aldri kom til å være noen politimenn på veiene, ville jeg alltid holdt meg til fartsgrensen? Nei - det er menneskelig natur, sier Ivan Oransky, medgründer av Retract Watch, en organisasjon som fremmer ansvarlighet og åpenhet ved å spore tilbaketrekninger i vitenskapelig litteratur. "Hvis du vet at ingen kommer til å sanksjonere deg, vil du ikke dele data."
De forskere som vil utføre replikasjonsarbeid og er i stand til å skaffe eksperimentelle detaljer, vil da sannsynligvis ikke finne finansiering fra offentlige etater som NIH, som først og fremst bedømmer tilskuddsøknader basert på nyhet og innovasjon.
"Oddsen er helt klart mot replikering, " sier Ioannidis.
Det er der det nye metaforskningsfeltet kan trå til. Organisasjoner som Center for Open Science og Meta Research Innovation Center på Stanford (METRICS) jobber for å hjelpe til med å justere belønningssystemet og setter strenge universelle standarder som vil oppmuntre til mer utbredte transparens og reproduserbarhet.
"Hvis finansieringsnivåene eller kampanjen var avhengig av hva som skjedde med den forrige forskningen din - hvis det var reproduserbart, hvis folk kunne ha mening av det, hvis folk kunne oversette det til noe nyttig i stedet for hvor mange artikler du publiserte - ville det være et veldig sterkt insentiv til å endre forskning for å bli mer reproduserbar, sier Ioannidis, som er meddirektør for METRICS.
"Jeg håper at disse indikatorene vil forbedre seg, " legger han til. "Og for noen av dem er det ingen annen mulighet enn å gå opp, fordi vi starter fra null."
