10 Redenen Wetenschappelijke studies kunnen verrassend onnauwkeurig zijn

Onze samenleving viert de wetenschap vanwege de nauwkeurigheid en objectiviteit ervan, en het grote publiek beschouwt bewijs meestal als onbetwistbaar waar. Er zijn echter een aantal alarmerende studies geweest, met name over biowetenschappelijk onderzoek, die suggereren dat wetenschappelijk publiceren misschien niet zo betrouwbaar is als we zouden willen denken.

10Veel pre-klinische studies kunnen niet worden gereproduceerd

Er is momenteel een enorme hoeveelheid onderzoek naar de mechanismen van kanker. Helaas is het vertalen van dit onderzoek naar het vinden van doelen voor de behandeling moeilijk gebleken, met het faalpercentage van klinische onderzoeken in de oncologie hoger dan in de meeste andere gebieden. En het lijkt erop dat veel van deze mislukkingen te wijten zijn aan problemen met het preklinische onderzoek waarop ze zijn gebaseerd.

Eén review wees uit dat slechts zes van de 53 preklinische preklinische kankerpapieren konden worden gereproduceerd. Veel van de onderzoeken die niet konden worden gereproduceerd, gebruikten geen blinde tests, wat betekent dat de testers zich ervan bewust waren of ze te maken hadden met de controlegroep of de experimentele groep, wat mogelijk leidde tot vertekening door onderzoekers. Andere studies bleken alleen de resultaten te hebben gepresenteerd die hun hypothese ondersteunden, zelfs als ze geen goede weergave waren van de dataset als geheel. Verbazingwekkend genoeg is er geen specifieke regel die dit verhindert en worden papieren regelmatig geaccepteerd voor publicatie zonder de volledige dataset te tonen die is verkregen.

Een andere studie onderzocht 67 studies, voornamelijk op het gebied van oncologie, en vond dat minder dan 25 procent van de gepubliceerde gegevens zonder grote inconsistenties in het laboratorium kon worden gereproduceerd. Dit is nu zo'n algemeen probleem dat risicokapitaalbedrijven blijkbaar een onuitgesproken regel hebben dat ongeveer 50 procent van de academische studies onmogelijk te reproduceren is in hun industriële laboratoria.

9 Negatieve resultaten zijn vaak niet gepubliceerd

Een negatief resultaat treedt op wanneer onderzoekers veronderstellen dat iets zal gebeuren, maar dan ontdekken dat ze dat resultaat niet kunnen behalen. In een studie werden tussen 1990 en 2007 meer dan 4.600 artikelen uit alle disciplines bekeken, waaruit bleek dat de publicatie van positieve resultaten in die periode met 22 procent was toegenomen. Tegen 2007 rapporteerde een verbazingwekkende 85,9 procent van de papieren positieve resultaten. Dit wordt ondersteund door onderzoeken die aantonen dat negatieve zinnen zoals "geen significante verschillen" zijn gedaald in gebruik, terwijl significante resultaten veel vaker volledig worden gerapporteerd. Als ze worden gepubliceerd, worden negatieve resultaten waarschijnlijk alleen weergegeven in tijdschriften met een laag effect.

Deze publicatieverschuiving creëert eigenlijk nogal wat problemen. Om te beginnen kunnen wetenschappers vaak niet zien of er al een studie is uitgevoerd, wat betekent dat er onnodige herhalingen zijn. Het kan ook van invloed zijn op de resultaten van meta-analyseonderzoeken, die alle literatuur over een bepaald onderwerp met elkaar vergelijken. Publicatiebias leidt ook tot enorme druk om positieve resultaten te bereiken, wat kan leiden tot opgeblazen bevindingen, wangedrag bij onderzoek of minder risico's voor onderzoekers. Immers, als je toekomstige carrière voornamelijk is gebaseerd op de vraag of je positieve resultaten kunt krijgen om te publiceren, dan heeft dat zeker enige invloed op de manier waarop je je onderzoek ontwerpt en je bevindingen interpreteert.

8Peer Review is vaak niet in staat om belangrijke fouten te detecteren

Het doorgeven van het peer review-proces is momenteel de gouden standaard voor onderzoekspapers. Toen onderzoekers echter met opzet fout-gevulde biomedische documenten aan peerrecensenten van een grote academische uitgever gaven, ontdekten ze dat de recensenten slechts gemiddeld 2,58 van de negen belangrijkste fouten bespeurden. Nog zorgwekkender was dat training om hun prestaties te verbeteren slechts een klein verschil maakte. In feite detecteerde een volledig kwart van de 607 geteste recensenten gemiddeld één of minder van de fouten. (In alle eerlijkheid hebben sommige recensenten de paper eigenlijk afgewezen zonder de review te voltooien, wat betekent dat ze mogelijk meer fouten hebben gevonden als ze tot het einde waren doorgegaan.)

Beoordelaars waren met name slecht in het opsporen van fouten met betrekking tot "de analyse van gegevens en inconsistenties in de rapportage van resultaten." Dit kan verband houden met het slechte begrip van statistieken bij biologen. Het gebied dat het minst door training werd getroffen, was "het onderzoek in de juiste context plaatsen, zowel in termen van de bestaande literatuur als in termen van de implicaties van de bevindingen voor beleid of praktijk." Dit is logisch, omdat het de literatuur over een bepaald onderwerp beheerst. duurt lang om te bereiken.

Andere onderzoeken hebben soortgelijke conclusies getrokken. Eén presenteerde 221 beoordelaars met een eerder gepubliceerd artikel dat was gewijzigd om acht fouten te bevatten. Gemiddeld hebben de controleurs slechts twee van de nieuwe fouten gedetecteerd. Een andere vond dat recensenten ten minste 60 procent van de belangrijkste fouten in een paper over migraine niet konden vinden (hoewel de meeste reviewers het onderzoek voor publicatie nog steeds niet accepteerden). Alles bij elkaar suggereren dergelijke artikelen dat het peer review-proces in de biomedische wetenschappen volop ruimte voor verbetering biedt.

7 Ervaren beoordelaars worden erger na verloop van tijd

In 2009 heeft een 14-jaar durende studie andere problemen met het peer review-proces aan het licht gebracht. De studie, die tijdschrifteditors zag beoordelen de kwaliteit van elke recensie die ze ontvingen, suggereerde dat de prestaties van peer reviewers met gemiddeld ongeveer 0,8 procent per jaar daalden. Deze bevindingen worden ondersteund door een paper uit 2007 in PLOS-medicijn, die ontdekte dat geen enkele vorm van opleiding of ervaring een belangrijke indicator was van de kwaliteit van de beoordelaar, maar dat jongere wetenschappers over het algemeen beoordelingen van hogere kwaliteit leverden. Een onderzoek uit 1998 wees ook uit dat jongere wetenschappers beter presteerden als peerrecensenten, terwijl die op redacties slechter presteerden.

De redenen voor deze trend zijn niet duidelijk, hoewel suggesties cognitieve achteruitgang, concurrerende belangen die overnemen, of hogere verwachtingen bij het beoordelen van het moeilijker maken van de klus in de tijd omvatten. Er zijn ook aanwijzingen dat oudere reviewers eerder geneigd zijn om beslissingen te nemen, niet voldoen aan de vereisten voor het structureren van een review en mogelijk een afgenomen kennisbasis hebben wanneer hun training verouderd raakt. Dit is zorgwekkend, omdat verhoogde leeftijd vaak gepaard gaat met meer autoriteit.

6 Meest verworpen artikelen worden uiteindelijk elders gepubliceerd

Na het peer review-proces zullen tijdschriften een paper afwijzen of accepteren voor publicatie. Maar wat gebeurt er met die afgekeurde papieren? Eén studie volgde op afgewezen artikelen Arbeid en milieugeneeskunde, het vinden dat 54 procent van hen uiteindelijk elders werd gepubliceerd. Interessant is dat meer dan de helft werd gepubliceerd door een groep van zeven andere grote tijdschriften op hetzelfde gebied.

Een soortgelijk onderzoek wees uit dat 69 procent van de artikelen die door een algemeen medisch tijdschrift waren verworpen, vervolgens binnen 552 dagen elders werden gepubliceerd, terwijl een ander vond dat ten minste de helft van de onderzoeken met Cardiovasculair onderzoek Uiteindelijk kwam hij uiteindelijk in een ander dagboek terecht. Een vierde onderzoek toonde aan dat 56 procent van de door de American Journal of Neuroradiology uiteindelijk vond een ander huis.

Voordat je in paniek raakt, kan dit simpelweg betekenen dat afgewezen documenten worden verbeterd voordat ze naar andere tijdschriften worden verzonden. Bovendien worden niet alle artikelen verworpen vanwege een slechte methodologie. Populaire tijdschriften zijn vaak moeilijk toegankelijk vanwege ruimtebeperkingen, terwijl veel kranten worden geweigerd omdat het onderwerp misschien niet helemaal klopt voor het betreffende tijdschrift. (De Cardiovasculair onderzoek studie zorgde voor deze laatste mogelijkheid en vond dat de meeste later elders gepubliceerde artikelen niet werden afgewezen vanwege een ongeschikt onderwerp.)

Zoals studies hebben aangetoond, worden de meest prestigieuze tijdschriften onderworpen aan een veel hogere mate van controle. Sterker nog, bekende tijdschriften hebben de neiging om meer papieren in te trekken dan hun minder prestigieuze collega's, simpelweg omdat ze na publicatie veel meer controle krijgen. Het probleem is dus dat een foutief papier misschien in verschillende tijdschriften wordt gewinkeld totdat men ermee akkoord gaat om het te publiceren, waardoor het de wetenschappelijke staat kan betreden. Daarom suggereren deze studies een discrepantie tussen de kwaliteit van papers in verschillende wetenschappelijke tijdschriften.

5 Suspect Practices

Met de constante druk op wetenschappers om positieve resultaten te publiceren, zijn er aanwijzingen dat vervalsing en andere verdachte praktijken een veel voorkomend verschijnsel zijn. Een meta-analyse van 18 enquêtes toonde aan dat 1,97 procent van de wetenschappers toegaf dat ze hun eigen werk hadden vervalst, 33 procent gaf andere verdachte praktijken toe, 14,1 procent zei dat ze op de hoogte waren van collega's die hun werk vervalsten en 72 procent zei dat ze van andere verdachte praktijken van collega's wisten . De echte cijfers kunnen zelfs hoger-enquêtes zijn van onderzoekers en onderzoekers in opleiding die vinden dat grotere percentages bereid zouden zijn om deel te nemen aan dergelijke praktijken, zelfs als ze niet toegeven ze daadwerkelijk al te doen.

Enkele van de geconstateerde twijfelachtige praktijken waren "het laten vallen van datapunten op basis van een onderbuikgevoel", "" het niet publiceren van gegevens die in tegenspraak zijn met het eerdere onderzoek, "en" het ontwerp, de methodologie of de resultaten van een onderzoek veranderen als reactie op de druk van een financiering bron. "Deze acties kunnen heel moeilijk te bewijzen zijn en het zal waarschijnlijk onmogelijk zijn om ze volledig te voorkomen zonder af te wijken van een systeem dat geobsedeerd is met het publiceren van positieve resultaten.

4 Wetenschappers delen niet genoeg informatie

Tijdens de training wordt wetenschappers geleerd dat experimenten moeten worden geschreven op een manier die hen in staat stelt om volledig opnieuw te worden gemaakt van de informatie die is opgenomen. Uit een onderzoek uit 2013 naar het delen van middelen in biomedisch onderzoek is echter gebleken dat 54 procent van de onderzoeksmiddelen (zoals het type antilichamen of organismen dat in experimenten wordt gebruikt) niet voldoende gedetailleerd is beschreven om ze te kunnen identificeren. Een andere studie van onderzoek met dieren vond dat slechts 59 procent van de kranten het aantal en het karakter van de gebruikte dieren omvatte. Zonder dergelijke informatie is het erg moeilijk om experimenten precies te reproduceren en daarom de resultaten te verifiëren. Het creëert ook een barrière voor het opsporen van methodologische problemen met een specifieke bron.

Er zijn enkele pogingen gedaan om het probleem aan te pakken, waaronder de ARRIVE-richtlijnen, die de rapportage van diermodellen willen maximaliseren. Het Neuroscience Information Framework heeft ook antilichamenregisters gecreëerd, terwijl het prestigieuze tijdschrift Natuur heeft opgeroepen tot een betere rapportage van middelen.

De auteurs van de studie uit 2013 merkten echter op dat slechts vijf van de 83 biomedische tijdschriften een grondige rapportering hadden. Een zorgwekkende enquête over biomedisch onderzoek voegt hieraan toe, waaruit blijkt dat de bereidheid om alle middelen te delen met andere onderzoekers tussen 2008 en 2012 met 20 procent daalde. Een aantal van de ondervraagde onderzoekers zei dat ze graag gegevens wilden delen op persoonlijke aanvraag maar minder tevreden waren met de gegevens in een online database plaatsen.

3Hoax-papieren

In 1994 diende de natuurkundige Alan Sokal een artikel in bij het tijdschrift voor culturele studies Sociale tekst die hij doelbewust bezaaide met ongefundeerde 'nonsens', terwijl hij er tegelijkertijd voor zorgde dat hij 'de ideologische vooroordelen van de redactie fl orkte'. Sokal's paper koppelde kwantumveldentheorie aan de psychoanalyse en beweerde dat kwantumzwaartekracht ernstige politieke implicaties had.Sokal wilde bewijzen dat de postmoderne theorie van de realiteit was gescheiden: "Onbegrijpelijkheid wordt een deugd; toespelingen, metaforen en woordspelingen dienen ter vervanging van bewijs en logica. Mijn eigen artikel is in elk geval een uiterst bescheiden voorbeeld van dit gevestigde genre. "

Terwijl Sokal zich volledig richtte op culturele studies, zijn hoax-papers ook in de computerwetenschappen voorgekomen. In 2014 werden een verbazingwekkende 120 papers verwijderd uit publicaties van Springer en het Institute of Electrical and Electronic Engineers nadat werd ontdekt dat het door de computer gegenereerde brabbeltaal was. De papieren werden gemaakt met behulp van een stukje software genaamd SCIgen, dat oorspronkelijk in 2005 bij MIT werd ontwikkeld als onderdeel van een poging om te bewijzen dat conferenties niet goed waren om papieren te controleren.

SCIgen combineert willekeurige woordreeksen om hoax-documenten te maken, waaronder een die belooft "onze inspanningen te concentreren op het weerleggen dat spreadsheets op kennis gebaseerd, empathisch en compact kunnen worden gemaakt." Het programma bleek blijkbaar populairder dan de makers hadden bedoeld: de 120 verwijderde papieren werden allemaal met succes voorgelegd aan Chinese conferenties en vervolgens gepubliceerd. Springer merkte op dat ze vóór publicatie een peer review doen, waardoor het nog vreemder is dat ze 16 van de valse kranten publiceerden.

Een ander hoaxpapier, gemaakt door John Bohannon en beweert te kijken naar de anti-kanker eigenschappen van een type korstmos, werd geaccepteerd door 157 tijdschriften (98 verwierp het). Dit ondanks het feit dat "elke beoordelaar met meer dan een middelbare schoolkennis van chemie en het vermogen om een ​​basisgegevensplot te begrijpen, de tekortkomingen van het document onmiddellijk zou moeten hebben opgemerkt." Bohannon wilde benadrukken dat veel open toegankelijke tijdschriften focussen te zwaar op het verdienen van geld door het uitgeven van auteursrechten, zelfs ten koste van het publiceren van onnauwkeurig onderzoek.

2Psychologie als een voorbeeld van de problemen

Psychologie wordt zwaar getroffen door veel van de problemen op deze lijst. Onderzoek heeft gesuggereerd dat ongeveer 97 procent van de gepubliceerde studies positief is en dat het probleem zich sinds minstens 1959 heeft voorgedaan. Bovendien bleek uit een enquête dat meer dan 50 procent van de psychologen zei dat ze zouden wachten totdat ze positieve resultaten kregen voordat ze besloten te publiceren. Meer dan 40 procent gaf toe dat ze alleen studies rapporteerden die een positief resultaat opleverden. Er is gesuggereerd dat dit komt omdat psychologietijdschriften de neiging hebben om nieuwe resultaten te behalen over rigoureuze. Wat de reden ook is, psychologie is naast psychiatrie en economie geplaatst, omdat de takken van de wetenschap waarschijnlijk te lijden zullen hebben van publicatieafwijkingen.

Een ander probleem is dat psychologiestudies zelden worden gerepliceerd - omdat veel tijdschriften geen rechte replicaties publiceren, is er voor onderzoekers niet veel stimulans om zich in te spannen. Een mogelijke oplossing is Psychfiledrawer, die replicatiepogingen publiceert. Er is echter nog steeds weinig profijt van het indienen en sommige onderzoekers zijn afgeschrikt door het risico van kritiek van collega's.

Positiever is dat er recentelijk is aangedrongen op studiereplicatie en een veelbelovend onderzoek waaruit bleek dat 10 van de 13 onderzoeken die het probeerde te repliceren dezelfde resultaten opleverden. Hoewel dit het ontbreken van gepubliceerde negatieve resultaten niet oplost, noch de vaak genoemde problemen met statistische analyse, is het een stap in de goede richting.

1Studies die op muizen worden gedaan, kunnen vaak niet aan mensen worden geëxtrapoleerd

Veel studies in de biomedische wetenschappen worden gedaan op diermodellen, met name muizen. Dit komt omdat muizen eigenlijk veel overeenkomsten hebben met mensen, inclusief vergelijkbare biochemische routes. Ongeveer 99 procent van de menselijke genen heeft een homoloog van de muis (gen met een gemeenschappelijke voorouder).

Maar hoewel onderzoek naar muizen tot opmerkelijke successen heeft geleid, zijn er problemen geweest met het vertalen ervan naar mensen op gebieden zoals kanker, neurologische ziekten en ontstekingsziekten. Recent onderzoek suggereert dat, ondanks de bovengenoemde genetische overeenkomsten, gensequenties die coderen voor specifieke regulerende eiwitten zeer verschillend zijn tussen mensen en muizen.

De verschillen zijn vooral belangrijk in het zenuwstelsel, waar er veel verschillen zijn in de ontwikkeling van de hersenen. De neocortex van de muis - die sterk is gekoppeld aan perceptie - is veel minder ontwikkeld dan het menselijke equivalent. Bovendien hebben de symptomen van neurologische ziekten vaak een cognitieve component, en de verschillen in cognitie tussen muizen en mensen zijn duidelijk enorm.

Dus als je de volgende keer dat een verbazingwekkende medische doorbraak wordt aangekondigd op het nieuws ziet, moet je controleren of het onderzoek is uitgevoerd op muizen of mensen.