(MicroStockHub/Getty Images) Et par dårlige æbler har ødelagt meta - undersøgelser det først udråbt ivermectin , det almindelige ormemiddel, som en lovende behandling for COVID-19 .
Inden for få uger efter at være blevet gjort tilgængelige online, nogle af disse klinisk forsøg Oversigter viste sig at indeholde umulige tal, uforklarlige kohortemismatches, inkonsistente tidslinjer og væsentlige metodologiske svagheder.
En af disse fortryksanalyser er siden blevet trukket tilbage, hvorimod en anden er blevet revideret efter at det viste sig at omfatte svigagtige data.
På trods af de mange alvorlige fejl, er millioner af doser af ivermectin allerede blevet givet til COVID-19-patienter verden over, mens andre, der ikke har fanget virus tager sagen i egen hånd og bruger det forebyggende,potentielt true deres helbred.
Nogle videnskabsmænd kræver nu en øjeblikkelig afhjælpning af meta-analyse proces for at forhindre, at dette sker igen.
I et brev offentliggjort i Natur , hævder forfatterne, at vi ikke længere bør inkludere nogen undersøgelser i en metaanalyse, medmindre vi har adgang til de rå individuelle patientdata (IPD).
Hvis de oprindelige undersøgelsesforfattere ikke er villige eller i stand til at give sådanne detaljerede oplysninger, bør det kliniske forsøg udelukkes. Sådanne simple standarder ville have stoppet meta-undersøgelserne af ivermectin fra nogensinde at blive offentliggjort, siger forskere.
'Vi anerkender, at vi ved at anbefale IPD-gennemgang ... opfordrer til ændring af næsten universelt accepteret praksis over mange årtier,' skriver forfatterne til brevet indrømme , 'men det deraf følgende potentiale for patientskade på globalt plan kræver intet mindre.'
Ifølge en af forfatterne, epidemiolog Gideon Meyerowitz-Katz, kører processen bag en metaanalyse næsten udelukkende på tillid. Det antages simpelthen, at ingen nogensinde vil begå svindel, og derfor er der ikke sat kontrolpunkter på plads.
Desværre betyder det, at nogle metastudier er afhængige af eksperimentelle data, som måske aldrig er blevet indsamlet.
'I tilfældet med ivermectin har vi evidens for, at en del undersøgelser i litteraturen, der blev inkluderet i metaanalyser, er potentielt eller definitivt svigagtige, og disse er blevet inkluderet i snesevis af metaanalyser uden den mindste betænkelighed i måneder,' Meyerowitz-Katz fortalte Energyeffic.
'Det er kun, når du gennemgår de faktiske linjedata, at du kan opdage svindel af denne art, derfor skal det blive standardpraksis.'
Det er, hvad der skete denne sommer med ivermectin. I juli fandt et par metaanalyser bevis for, at antiparasitmedicinen var ' meget nyttig til at kontrollere COVID-19-infektioner ', men i ugerne efter opløste et nærmere kig meget af bevisgrundlaget.
I øjeblikket er der ingen beviser for, at ivermectin kan bruges til at behandle COVID-19, og den forkerte dosering kan være direkte farlig, da USA Føderal lægemiddelrådgivning (FDA) og Centre for Disease Control and Prevention (CDC) har gentagne gange advaret siden august.
Bare denne weekend var fem personer efter sigende indlagt efter at have taget stoffet mod COVID-19 i staten Oregon.
Ikke alene kan ivermectin forårsage en overdosis, hvis det tages forkert, medicinen kan også interagere med blodfortyndende og forårsage bivirkninger som kvalme, opkastning, diarré, lavt blodtryk, svimmelhed, krampeanfald, koma og endda død.
Ifølge den seneste Natur brev , den nuværende pandemi 'giver grobund for, at selv dårligt dokumenterede påstande om effekt kan forstærkes, både i den videnskabelige litteratur og på sociale medier.'
'Denne sammenhæng,' forfatterne Blive ved , 'kan føre til en hurtig oversættelse af næsten enhver tilsyneladende gunstig konklusion fra et relativt svagt forsøg eller sæt af forsøg til udbredt klinisk praksis og offentlig politik.'
I årevis har videnskabsmænd påpeget dette, og nogle har været det efterlyser opdaterede standarder til den længe accepterede praksis bag metaanalyser.
Ofte anses en metaanalyse for at være bedre bevis end et enkelt, veludført klinisk forsøg, men dette er ikke nødvendigvis tilfældet. I sidste ende afhænger validiteten af en meta-analyse af strengheden af de udtagne undersøgelser, og alligevel håndhæver ikke alle videnskabelige tidsskrifter den samme kvalitetskontrol.
Så mens en metaanalyse kun kan udvælge de bedste forsøg til inklusion, kan den nemt inkludere mere tvivlsomme data. Og det kan gøre hele forskellen.
I tilfældet med ivermectin, for eksempel, blev adskillige metaanalyser fordrejet af kun få undersøgelser med forfalskede eller potentielt forfalskede data.
Når først ukorrekte oplysninger er derude, er det meget sværere at trække tilbage eller afklare. Selv efter at visse konklusioner har vist sig at være grundløse, er det hårdt arbejde at ændre folks mening, som vi ved fra vores erfaring med vacciner.
At stoppe falsk information i at sive ud i første omgang er afgørende, og for at gøre det mener nogle forskere, at revner i metaanalyseprocessen skal udfyldes. Andre antyder vi burde gøre helt op med metastudier, da de måske ikke bidrager med alt for videnskabelige fremskridt og i virkeligheden kan mudre vandet.
(Fordi metaanalyser ikke kræver originalt laboratoriearbejde, er det mistanke om, at mange sådanne undersøgelser er udført af forfattere, der kun ønsker en udgivelsespost.)
I det mindste siger forfatterne til det seneste brev, at vi bør dobbelttjekke de rå data, der er inkluderet i en metaanalyse, før vi fremsætter nogen omfattende påstande. Om det nogensinde kommer til at ske er en anden sag.
'Vores anbefalinger er enkle og lette at adoptere,' fortalte Meyerowitz-Katz til Energyeffic.
'Jeg tror ikke, at mange mennesker vil tage dem op, men det kunne de absolut.'
Brevet blev offentliggjort i Natur .
Oplysningserklæring: Gideon Meyerowitz-Katz har tidligere skrevet artikler for Energyeffic.