Akademiske tidsskrifter og presse serverer regelmessig ny hjelp av fascinerende psykologiske forskningsresultater. Men hvor mange av disse eksperimentene vil gi de samme resultatene en gang til?
Relatert innhold
- Biomedisinsk vitenskapelige studier er sjokkerende vanskelige å reprodusere
- Studier med kortere titler siteres oftere
- Hvorfor så få forskere studerer årsakene til våpenvåpen
I følge arbeid presentert i dag i Science, kunne færre enn halvparten av 100 studier publisert i 2008 i tre topp psykologitidsskrifter vellykket replikeres. Den internasjonale innsatsen inkluderte 270 forskere som drev andre menneskers studier som en del av The Reproducibility Project: Psychology, ledet av Brian Nosek ved University of Virginia.
De øyeåpnende resultatene betyr ikke nødvendigvis at de opprinnelige funnene var uriktige eller at den vitenskapelige prosessen er mangelfull. Når en studie finner en effekt som en andre studie ikke kan gjenskape, er det flere mulige årsaker, sier medforfatter Cody Christopherson fra Southern Oregon University. Studie As resultat kan være usant, eller studie Bs resultater kan være falske - eller det kan være noen subtile forskjeller i måten de to studiene ble utført på som påvirket resultatene.
“Dette prosjektet er ikke bevis på at noe er ødelagt. Snarere er det et eksempel på at vitenskap gjør det vitenskapen gjør, sier Christopherson. ”Det er umulig å ta feil i endelig forstand innen vitenskap. Du må ta midlertidig feil, kanskje mange ganger, før du noen gang har rett. ”
På tvers av vitenskapene anses forskning som reproduserbar når et uavhengig team kan utføre et publisert eksperiment, følge de originale metodene så nøye som mulig, og få de samme resultatene. Det er en sentral del av prosessen for å bygge bevis for å støtte teorier. Selv i dag, 100 år etter at Albert Einstein presenterte sin generelle relativitetsteori, gjentar forskere regelmessig tester av dens spådommer og leter etter tilfeller der hans berømte beskrivelse av tyngdekraften ikke gjelder.
"Vitenskapelige bevis er ikke avhengige av å stole på autoriteten til personen som gjorde funnet, " sa teammedlem Angela Attwood, en psykologiprofessor ved University of Bristol, i en uttalelse "Snarere akkumuleres troverdighet gjennom uavhengig replikering og utdyping av ideene og bevis. "
Reproducibility Project, en samfunnsbasert crowddsourcing-innsats, startet i 2011 for å teste hvor godt dette målet av troverdighet gjelder nyere forskning innen psykologi. Forskere, noen rekrutterte og noen frivillige, gjennomgikk en pool av studier og valgte en for replikering som matchet deres egen interesse og ekspertise. Deres data og resultater ble delt på nettet og gjennomgått og analysert av andre deltagende forskere for inkludering i den store Science- studien.
For å bidra til å forbedre fremtidig forskning, forsøkte prosjektanalysen å bestemme hvilke typer studier som klarte seg best, og hvorfor. De fant at overraskende resultater var vanskeligst å reprodusere, og at erfaringene eller ekspertisen til forskerne som utførte de originale eksperimentene, hadde lite å gjøre med vellykket replikering.
Funnene ga også støtte for det ofte kritiserte statistiske verktøyet kjent som P- verdi, som måler om et resultat er betydelig eller på grunn av tilfeldigheter. En høyere verdi betyr at et resultat er mest sannsynlig en fluke, mens en lavere verdi betyr at resultatet er statistisk signifikant.
Prosjektanalysen viste at en lav P- verdi var ganske prediktiv for hvilke psykologistudier som kunne replikeres. 20 av de 32 originale studiene med en P- verdi på mindre enn 0, 001 kunne for eksempel replikeres, mens bare 2 av de 11 papirene med en verdi større enn 0, 04 ble replisert.
Men Christopherson mistenker at de fleste av hans medforfattere ikke ville ønske at studien ble tatt som en ringestilling av P- verdier, fordi de anerkjenner verktøyets begrensninger. Og minst ett P- verdiproblem ble fremhevet i forskningen: De originale studiene hadde relativt liten variasjon i P- verdi, fordi de fleste tidsskrifter har etablert en avskjæring på 0, 05 for publisering. Problemet er at verdien kan nås ved å være selektiv til datasett, noe som betyr at forskere som ønsker å gjenskape et resultat, også bør vurdere metodene og dataene som ble brukt i den opprinnelige studien nøye.
Det er heller ikke klart om psykologi kan være et spesielt vanskelig felt for reproduserbarhet - en lignende studie pågår for tiden om kreftbiologisk forskning. I mellomtiden håper Christopherson at den enorme innsatsen vil stimulere til flere slike dobbeltkontroller og revisjoner av tidligere forskning for å hjelpe den vitenskapelige prosessen.
Å få det riktig betyr regelmessig å revidere tidligere antakelser og tidligere resultater og finne nye måter å teste dem på. Den eneste måten vitenskapen er vellykket og troverdig er hvis den er selvkritisk, ”konstaterer han.
Dessverre er det avskrekkende for å drive med denne typen forskning, sier han: "For å bli ansatt og promotert i akademia, må du publisere original forskning, så direkte replikker er sjeldnere. Jeg håper fremover at universitetene og finansieringsbyråene som er ansvarlige for å incentivere denne forskningen - og medieutsalgene som dekker dem - vil innse at de har vært en del av problemet, og at devaluering av replikering på denne måten har skapt en mindre stabil litteratur enn vi ville like. ”
