Pas på: Forsker siger, at de fleste videnskabelige undersøgelser er forkerte

For nogle få år siden tog to forskere de mest anvendte ingredienser i 50 i en kogebog og undersøgte, hvor mange der var blevet forbundet med en kræftrisiko eller fordel, baseret på en række undersøgelser, der blev offentliggjort i videnskabelige tidsskrifter.

Resultatet? Fyrre ud af 50, inklusive salt, mel, persille og sukker. "Er alt, hvad vi spiser, forbundet med kræft?" undrede forskerne sig i en artikel fra 2013 baseret på deres fund.

Deres undersøgelse berørte et kendt, men vedvarende problem i forskningsverdenen: For få studier har store nok prøver til at understøtte generelle konklusioner.

Men pres på forskere, konkurrence mellem tidsskrifter og mediens umættelige appetit på nye undersøgelser, der annoncerer revolutionerende gennembrud, har betydet, at sådanne artikler fortsat offentliggøres.

”De fleste artikler, der bliver offentliggjort, selv i seriøse tidsskrifter, er temmelig sjusket,” sagde John Ioannidis, professor i medicin ved Stanford University, der har specialiseret sig i studier af videnskabelige studier.

Denne svorne fjende af dårlig forskning offentliggjorde en meget citeret artikel i 2005 med titlen: "Hvorfor de fleste offentliggjorte forskningsresultater er falske."

Siden da, siger han, er der kun gjort begrænsede fremskridt.

Nogle tidsskrifter insisterer nu på, at forfattere forhåndsregistrerer deres forskningsprotokol og leverer deres rå data, hvilket gør det sværere for forskere at manipulere fund for at nå en bestemt konklusion. Det giver også andre mulighed for at verificere eller gentage deres undersøgelser.

For når undersøgelser gentages, kommer de sjældent med de samme resultater. Kun en tredjedel af 100-undersøgelserne, der blev offentliggjort i tre toppsykologitidsskrifter, kunne med held replikeres i en stor 2015-test.

Medicin, epidemiologi, befolkningsvidenskab og ernæringsundersøgelser går ikke bedre, sagde Ioannidis, når der forsøges at gentage dem.

"På tværs af biomedicinsk videnskab og videre bliver forskere ikke uddannet tilstrækkeligt i statistik og metodologi," sagde Ioannidis.

For mange undersøgelser er udelukkende baseret på nogle få individer, hvilket gør det vanskeligt at drage bredere konklusioner, fordi stikprøverne har så lidt håb om at være repræsentative.

”Kost er et af de mest forfærdelige områder inden for biomedicinsk undersøgelse,” tilføjede professor Ioannidis - og ikke kun på grund af interessekonflikter med forskellige fødevareindustrier.

”Det er ekstremt vanskeligt at måle diæt,” understregede han. Hvordan kan vi præcist kvantificere, hvad folk spiser?

På dette felt går forskere ofte i vild søgning efter sammenhænge inden i enorme databaser uden så meget som en starthypotese.

Selv når metodikken er god, idet guldstandarden er en undersøgelse, hvor deltagere vælges tilfældigt, kan udførelsen komme til kort.

En berømt 2013-undersøgelse af fordelene ved middelhavsdiet mod hjertesygdomme måtte trækkes tilbage i juni af de mest prestigefyldte medicinske tidsskrifter, New England Journal of Medicine, fordi ikke alle deltagere blev rekrutteret tilfældigt; resultaterne er revideret nedad.

Så hvad skal vi fjerne fra oversvømmelsen af ​​studier, der offentliggøres hver dag?

Ioannidis anbefaler at stille følgende spørgsmål: er det noget, der er blevet set kun en gang eller i flere undersøgelser? Er det en lille eller en stor undersøgelse? Er dette et randomiseret eksperiment? Hvem finansierede det? Er forskerne gennemsigtige?

Disse forholdsregler er grundlæggende i medicinen, hvor dårlige undersøgelser har bidraget til vedtagelsen af ​​behandlinger, der i bedste fald er ineffektive og i værste fald skadelige.

I deres bog "Ending Medical Reversal" tilbyder Vinayak Prasad og Adam Cifu skræmmende eksempler på praksis, der er vedtaget på baggrund af undersøgelser, der fortsat blev ugyldiggjort, såsom at åbne en hjernearterie med stenter for at reducere risikoen for et nyt slagtilfælde.

Det var først efter 10 år, at en robust, randomiseret undersøgelse viste, at praksis faktisk øgede risikoen for slagtilfælde.

Løsningen ligger i den kollektive stramning af standarder for alle aktører i forskningsverdenen, ikke kun tidsskrifter, men også universiteter, offentlige finansieringsbureauer. Men disse institutioner opererer alle i konkurrenceprægede miljøer.

Læs hele historien her ...