Tilfældigvis stødte jeg i en strøm af nyheder og information på en artikel i Naturvidenskabelige rapporter. Den præsenterer data fra en undersøgelse blandt 1.500 forskere om reproducerbarheden af forskningsresultater. Hvis dette problem tidligere blev rejst til biologisk og medicinsk forskning, hvor det på den ene side kan forklares (falske sammenhænge, den generelle kompleksitet af de undersøgte systemer, undertiden også beskyldes videnskabelig software), har den på den anden side en fænomenologisk karakter (for eksempel har mus en tendens til at opføre sig forskelligt med forskere forskellige køn (1 og 2)).
Imidlertid er ikke alt glat med mere naturvidenskaber, såsom fysik og ingeniørarbejde, kemi, økologi. Det ser ud til, at netop disse discipliner er baseret på "absolut" reproducerbare eksperimenter, der blev udført under de mest kontrollerede forhold, desværre forbløffende - i enhver forstand af ordet - resultatet af undersøgelsen: op til 70% af forskerne har stødt på ikke-reproducerbare eksperimenter og resultater, der ikke kun er opnået af andre forskergrupper, MEN også af forfattere / medforfattere af offentliggjorte videnskabelige værker!
Priser hver sandpiper sin sump?
Selvom 52% af de adspurgte peger på en krise med reproducerbarhed inden for videnskab, betragter mindre end 31% de offentliggjorte data som grundlæggende forkerte, og flertallet indikerede, at de stadig stoler på det offentliggjorte værk.
Spørgsmål: Er der en krise med reproducerbarhed af resultater?
Man skal naturligvis ikke hacke fra skulderen og lænke al videnskab som sådan kun på grundlag af denne undersøgelse: halvdelen af de adspurgte var stadig videnskabsmænd på en eller anden måde tilknyttet biologiske discipliner. Som forfatterne bemærker, er fysik og kemi niveauet for reproducerbarhed og tillid til de opnåede resultater meget højere (se graf nedenfor), men stadig ikke 100%. Men inden for medicin er tingene meget dårlige sammenlignet med resten.
Salgsfremmende video:
En anekdote tænker på:
Marcus Munafo, en biologisk psykolog ved University of Bristol, England, har en mangeårig interesse i reproducerbarheden af videnskabelige data. Han husker dagene på sine studerendes dage, siger han:
Spørgsmål: Hvor mange offentliggjorte værker i din branche er reproducerbare?
Breddegrad og længdegradsproblemdybde
Forestil dig, at du er en videnskabsmand. Du støder på en interessant artikel, men resultaterne / eksperimenterne kan ikke gengives i laboratoriet. Det er logisk at skrive om dette til forfatterne af den originale artikel, spørge om råd og stille afklarende spørgsmål. Ifølge undersøgelsen har mindre end 20% gjort dette på ethvert tidspunkt i deres videnskabelige karriere!
Forfatterne af undersøgelsen bemærker, at sådanne kontakter og samtaler måske måske er for vanskelige for forskerne selv, fordi de afslører deres inkompetence og inkonsekvens i visse emner eller afslører for mange detaljer om det aktuelle projekt.
Derudover forsøgte et absolut mindretal af videnskabsmænd at offentliggøre en tilbagevenden til uoprettelige resultater, mens de modsatte sig redaktører og korrekturlæsere, der krævede at nedtone sammenligninger med den oprindelige undersøgelse. Er det underligt, at chancen for at rapportere ikke-reproducerbarheden af videnskabelige resultater er ca. 50%.
Første spørgsmål: Har du prøvet at gengive eksperimentets resultater?
Andet spørgsmål: Har du prøvet at indsende dit forsøg på at gengive resultaterne?
Måske i det mindste i laboratoriet i det mindste for at udføre en reproducerbarhedstest? Det tristeste er, at en tredjedel af de adspurgte ALDRIG har tænkt på at skabe metoder til kontrol af data for reproducerbarhed. Kun 40% angav, at de regelmæssigt bruger sådanne teknikker.
Sp.: Har du nogensinde udviklet specielle teknikker / tekniske processer for at forbedre reproducerbarheden af resultater?
Et andet eksempel, en biokemiker fra Det Forenede Kongerige, som ikke ønskede at afsløre sit navn, siger, at forsøg på at gentage, reproducere arbejde til sit laboratorieprojekt blot fordobler tids- og materialomkostningerne uden at give eller tilføje noget nyt til værket. Yderligere kontrol udføres kun for innovative projekter og usædvanlige resultater.
Og selvfølgelig de evige russiske spørgsmål, der begyndte at torturere udenlandske kolleger: Hvem har skylden, og hvad skal jeg gøre?
Hvem er skyldig?
Forfatterne af arbejdet identificerede tre hovedproblemer med reproducerbarheden af resultaterne:
- Presset fra overordnede for at få værket offentliggjort til tiden
- Selektiv rapportering (tilsyneladende betyder det undertrykkelse af nogle data, der "ødelægger" hele billedet)
- Utilstrækkelig dataanalyse (inklusive statistisk)
Spørgsmål: Hvilke faktorer er ansvarlige for irreproducerbare videnskabelige resultater?
Svar (fra top til bund): –Prøve rapportering –Bosset pres – Dårlig analyse / statistik –– Utilstrækkelig gentagelighed af eksperimentet i laboratoriet - Utilstrækkelig overvågning - Mangel på metode eller kode - Dårlig eksperimentel design - Mangel på rå data fra det primære laboratorium - Bedrageri - Utilstrækkelig verifikation af eksperter / korrekturlæsere –Problemer med forsøg på at gengive –Teknisk ekspertise er påkrævet for at gengive –Variabilitet af standardreagenser - "Neddachka og Pichalka"
Hvad skal man gøre?
Ud af 1.500 undersøgte talte mere end 1.000 specialister for at forbedre statistikkerne for indsamling og behandling af data, forbedring af kvaliteten af tilsynet med chefer og en mere streng planlægning af eksperimenter.
Spørgsmål: Hvilke faktorer vil hjælpe med at forbedre reproducerbarheden?
Svar (fra top til bund): - Bedre forståelse af statistikker - strengere overvågning - Bedre eksperimentelt design - Træning - Intern laboratorievurdering - Forbedrede praktiske færdigheder - Opmuntring til formel datakrydsning - Interlaboratorisk gennemgang - Tildeling af mere tid til projektstyring - Forøgelse af videnskabelige tidsskriftsstandarder - Tildel mere tid til at arbejde med laboratoriejournaler
Konklusion og lidt personlig oplevelse
For det første, selv for mig som videnskabsmand, er resultaterne svimlende, selvom jeg allerede har vænnet sig til en vis grad af irreproducerbarhed af resultaterne. Dette er især tydeligt i værker udført af kineserne og indianerne uden tredjeparts "revision" i form af amerikanske / europæiske professorer. Det er godt, at problemet blev genkendt og tænkt over dets løsning (er). Jeg vil taktfast tavse om russisk videnskab i forbindelse med den nylige skandale, selvom mange ærligt gør deres job.
For det andet ignorerer artiklen (eller rettere sagt ikke) den rolle, som videnskabelige målinger og peer-reviewede videnskabelige tidsskrifter spiller i fremkomsten og udviklingen af problemet med irreproducerbarhed af forskningsresultater. I udøvelsen af publikationernes hastighed og hyppighed (læs, en stigning i citeringsindekser) falder kvaliteten kraftigt, og der er ikke tid til yderligere verificering af resultaterne.
Som de siger, alle figurer er fiktive, men baseret på virkelige begivenheder. På en eller anden måde havde en studerende en chance for at gennemgå en artikel, fordi ikke alle professorer har tid og energi til omhyggeligt at læse artiklerne, så 2-3-4 studerendes og lægeres mening er samlet, hvorfra revisionen er dannet. Der blev skrevet en gennemgang, det påpegede resultaternes irreproducerbarhed efter metoden beskrevet i artiklen. Dette blev tydeligt demonstreret for professoren. Men for ikke at forkæle forholdet til "kollegerne" - når alt kommer til alt lykkes de med alt - blev gennemgangen "rettet". Og der er 2 eller 3 sådanne artikler offentliggjort.
Det viser sig at være en ond cirkel. Videnskabsmanden sender artiklen til tidsskriftens redaktør, hvor han angiver den”ønskede” og vigtigst af alt”uønskede” anmeldere, det vil sige, at de kun forlader dem, der er positivt disponeret over for forfatterteamet. De gennemgår værket, men de kan ikke “skjule kommentarer” og forsøge at vælge det mindste af to onde - dette er en liste over spørgsmål, der skal besvares, og så offentliggør vi artiklen.
Et andet eksempel, som redaktøren for Nature talte om for kun en måned siden, er Grazels solcellepaneler. På grund af den enorme interesse for dette emne i det videnskabelige samfund (trods alt de stadig ønsker en artikel i Nature!), Måtte redaktørerne oprette et specielt spørgeskema, hvor de har brug for at angive en masse parametre, levere udstyrskalibreringer, certifikater osv. For at bekræfte, at metoden til måling af effektivitet paneler er i overensstemmelse med nogle generelle principper og standarder.
Og for det tredje, når du endnu en gang hører om en mirakelvaccine, der erobrer alt og enhver, en ny historie om Jobs i et nederdel, nye batterier eller farerne / fordelene ved GMO'er eller strålingen af smartphones, især hvis det blev fremmet af gule forfattere fra journalistik, derefter være forståelse og ikke hoppe til konklusioner. Vent på bekræftelse af resultaterne fra andre grupper af videnskabsmænd, akkumuleringen af matrixen og dataprøver.