Válságban van a modern tudomány, de létezik kiút belőle
A tudományos eredmények csak akkor lehetnek igazak, ha megismételhetők, vagyis replikálhatók, ez a modern tudományos módszer alapkövetelménye. Vagy mégsem? A tudományban ma érvényesülő ösztönzők az új eredmények létrehozását serkentik, nem a megbízható eredményekét, ezért kevés erőfeszítés történik a kísérleti eredmények reprodukálására. Mindenki arra hajt, hogy újdonságot jelenthessen be, és ezeknek az újdonságoknak a nagy része, ha valaki mégis megpróbálja megismételni a kísérletet, hamisnak bizonyul.
A világ egyik legjobb egyetemének tartott Stanford neves orvos-statisztikus professzora, John Ioannidis tizenöt évvel ezelőtt egyenesen a következő sokkoló címmel publikálta a tudomány replikációs krízisét elindító tanulmányát: „Mi az oka, hogy a publikált kutatási eredmények zöme hibás?” A 2005-ös tanulmány azóta az amerikai tudományos akadémia folyóirata, a Public Library of Science (PLOS) legtöbbet olvasott cikke lett, és megalapozta a tudomány tudományának, azaz a metatudománynak a létrejöttét. A metatudós, aki nem mellesleg kiváló matematikus, azóta is lényegre törő címmel jelenteti meg publikációit: Metakutatás: a tévedés művészete (2010); Miért nem hasznos a legtöbb klinikai kísérlet? (2016).
Ioannidis a többi metatudóssal együtt a tudomány reformja érdekében összeszedte a súlyos helyzetet előidéző módszertani, statisztikai és társadalmi okokat: nem tisztázott, hogy pontosan mi is a tudományos tévedés; a kísérletek eredményét általában csak akkor publikálják, ha az egybevág a kísérletvezető hipotézisével, és ha ez a hipotézis meglepő; a kutatók szeretik rugalmas módon gyűjteni az adatokat, és csak azokat figyelembe venni, amik a várt eredményre vezetnek; statisztikai műveltségük általában alacsony, és azok emelkednek magasra a tudományos szamárlétrán, akik sokat publikálnak, nem azok, akik jót. Mint kiderült, a krízis szinte az összes tudományterületet érinti, ezért az okok feltárása mellett filozófusokat is bevonva, multidiszciplináris csapatokban kell hozzálátni a reform kidolgozásához.
Mennyire súlyos a helyzet?
Egy 2014-es becslés szerint az előző évtizedben a biomedikális kutatásokban az erőforrások 85 százalékát pazarolták el. A pszichológia területén csak a kutatások harmada bizonyult reprodukálhatónak, de a következő rossz tudomány által sújtott terület, a rákbiológia és az idegtudomány (ezen belül különösen az agyi képalkotás) is csak alig produkált jobb eredményeket. A kritika elérte a matematikát és a számítógép-tudományt is, és kiderült, hogy statisztikai ügyeskedések segítségével a fals pozitív eredmények aránya elérheti a 61 százalékot is. Végül a szakemberek egy része arra jutott, hogy kár kétségbe esni a krízis miatt: ha komolyan vesszük, és tanulunk belőle, sokat profitálhatunk, sőt a számos különböző nézőpontot felvetni képes filozófusok bevonásával reálisabb képet kaphatunk arról is, hogy hogyan működik valójában a tudomány.
Ioannidis mellett a replikációs krízis feltárásának másik hőse Craig Bennett, a Kaliforniai Egyetem pszichológusa. Bennett 2010-ben, még egyetemi hallgató korában végezte el azt a kísérletet, amiért 2012-ben a valószínűtlen kutatásoknak járó Ig Nobel-díjat is megkapta idegtudomány kategóriában: döglött atlanti lazacot tett agyi képalkotó berendezésbe, és az fMRI által adott eredményeket két gyakran használt statisztikai módszerrel is elemezve kimutatta, hogy az állat agya különbözőképpen reagál a berendezés monitorán felvillanó szomorú és vidám emberi arcokra.
A funkcionális mágneses agyi képalkotás (fMRI) az 1990-es évek eleje óta számított az egyik legjobb agyképet adó módszernek (nem igényel kontrasztanyagot, nem teszi ki sugárzásnak az alanyt, ezért etikusan ismételhető, és gyönyörű színes képeket produkál). A döglött lazacos kísérlet eredményeinek nyilvánosságra hozatala sokak figyelmét felhívta a gondosabb statisztikai elemzések fontosságára: míg korábban az fMRI-vizsgálatok 25-40 százaléka nem használta a hibák nagy részét kiszűrő korrigált összehasonlítás módszerét, 2012-re ez az arány 10 százalék alá csökkent. Az idegkutatók pedig azóta is különlegesebbnél különlegesebb vizsgálatokkal próbálják kideríteni, hogyan lehetne javítani tudományáguk komolyan vehetőségét.
Tombol a SHARKing, azaz a cápázás
A Mit tett értünk a replikáció? című, a Monty Python híres sorait idéző 2017-es tanulmány konkrét jó példát elemezve mutatja be, hogy ma már nem kis statisztikai erejű, alig tíz főt vizsgáló publikációkat jelentetnek meg az agyi képalkotás szakemberei, ráadásul egyre több a nyilvános adatbázis, és a végrehajtott replikációknak köszönhetően sok új tudás is keletkezik. A Nature friss cikke ennél is tovább megy: a szerzők felkértek 70 szakértői csoportot, hogy egymástól függetlenül elemezzék és értelmezzék ugyanazt az fMRI-adatbázist (108 egészséges emberről készítettek képeket, mialatt azok nyugalomban feküdtek, illetve egy döntést kellett hozniuk arról, hogy feltesznek-e szerencsejátékban egy bizonyos összeget). A csapatok 9 kiinduló hipotézist is kaptak, és meg kellett mondaniuk, hogy ezek közül helytálló-e bármelyik. A kutatók ezt követően összehasonlították, hogy a 70 csapat eredménye legalább köszönőviszonyban áll-e egymással. „Nem volt jó érzés látni, milyen nagyok a különbségek, de hát ez van” - nyilatkozta a kutatást vezető Tom Schonberg, aki még annak ellenére is meglepődött a széttartó eredményeken, hogy ő volt az, aki az agyi képalkotó vizsgálatok replikálhatóságának javítása érdekében életre hívta a szakterület egyik legfontosabb kollaboratív projektjét (Neuroimaging Analysis Replication and Prediction Study, NARPS). Az viszont jó érzés volt látnia, hogy milyen szép számmal kaphatók a kutatóközösségek az együttműködésre.
Schonberg és munkatársai szerint eredményük, azaz a 70 kutatócsapat széttartó eredményei mögött az áll, hogy mindegyikük különböző adatelemző módszereket használt, és különböző döntéseket hozott. Voltak egybehangzó eredmények is, így például a kilenc közül az egyik hipotézist a csapatok 84 százaléka találta megalapozottnak, míg másik három hipotézist több mint 90 százalékuk ítélt jelentéktelennek. A többi öt hipotézissel kapcsolatban azonban a szabadság szándékolatlanul magas foka nagyon különböző következtetésekre vezette a csapatokat.
A tanulság minden tudományágra érvényes, teszik hozzá Schonbergék: egyszerre többféle megközelítés alkalmazása segíthet a valóban szignifikáns eredmények azonosításában. Alapvetően fontos az is, hogy nyilvánosak legyenek az elemzés során hozott döntések, és a kutatóknak előre kellene regisztrálniuk kutatási hipotézisüket, hogy azt a későbbiekben ne lehessen az eredményekhez igazítani - ez a gyakorlat az úgynevezett SHARKing, vagyis az előzetes hipotézis elhallgatása azután, hogy ismertté váltak a kísérleti eredmények (Suppressing Hypotheses After the Results are Known).
Publikálj vagy pusztulj!
„A kinek van, annak adatik”, idézi Máté evangéliumát (25:29) Demeter Márton tudománymetrikus-kommunikációkutató a tudomány replikációs krízise mögött álló társadalmi folyamatokat értelmezve. A Máté-effektus azt jelenti, magyarázza Demeter, hogy az eleve jó pozícióban lévő (elit intézményekben szerzett diplomákkal, befolyásos mentorokkal, jó szociális hálózattal rendelkező) kutatók a többiekhez képest hatványozottan nagyobb eséllyel kapnak további előnyöket a pályázatok, állások, ösztöndíjak elbírálásakor, még akkor is, ha a teljesítményük azonos a többiekével. Demeter szerint az, hogy a valamilyen szempontból eleve sikeres kutatók teljesítményét magasabbra értékelik, mint azokét, akik még nem sikeresek, azt is magával hozza, hogy a feltörekvő fiataloknak nagyon komolyan kell azért küzdeniük, hogy foglalkozzanak az eredményükkel. Ez a gyakorlatban úgy néz ki, hogy ha két tudós ír egy-egy azonos minőségű cikket, annak a cikkét fogják többen idézni, aki már eleve befutott. Ez pedig igazságtalan, hiszen érdemtelen előnyökhöz juttatja a már befutottakat, akik sokszor saját magukat ismételve veszik el a helyet és a figyelmet az új ötletek elől, teszi hozzá Demeter.
A Máté-effektusnak az egyéni mellett geopolitikai szintje is van, aminek a nem centrumban lévő országok az áldozatai, állítja a kommunikációkutató. Ha Magyarországról küld valaki egy cikket, azt sokkal kevesebb eséllyel fogadják el, mint ha a Harvardról küldené. Ez tudományosan is bizonyított: próbajelleggel írtak olyan cikkeket, amelyekben csak a szerző munkahelyét változtatták meg, és kiderült: a bírálók 30-40 százalékkal magasabbra értékelték ugyanazt az írást, ha azt hitték, hogy az illető amerikai, mint ha azt gondolták, hogy például egy nigériai intézetben dolgozik. Mindez megfojtja a friss elméleteket, módszereket és kutatási irányzatokat, hiszen a már meggyökeresedett, mainstreamnek számító elméletek kapnak hangsúlyt, magyarázza Demeter, aki szerint egyébként a jó minőségű intézetekben nem az számít, hogy a kutatónak hány publikációja jelent meg, hanem az, hogy milyen lapokban. Magyarországon viszont, és sok más országban is, csak darabszámot néznek, ami publikációs túltermeléshez, ellenőrizetlen, értelmetlen és rossz minőségű közleményekhez vezet. És mivel Magyarországon nincs számonkérést lehetővé tevő minőségbiztosítási rendszer, van olyan tudományterület, ahol a frissen kinevezett professzorok 80 százaléka nem teljesíti a törvényben előírt feltételeket sem, mondja a tudománymetrikus.
Demeter szerint ugyanakkor nem lenne nehéz változtatni a helyzeten. Jó példa erre az Egyesült Királyság kutatói teljesítményt értékelő keretrendszere, a Research Excellence Framework (REF), ahol a trükköket ismerő szakemberek ülnek, akik még le is pontozzák annak a pályázatát, aki a csak gazdasági haszonra utazó, több ezer úgynevezett ragadozó kiadvány (predatory publication) egyikében jelentet meg cikket.
A világ száz legjobb egyetemén persze nem merül fel ez a probléma, inkább a középszinttől lefelé, árnyalja a képet a kommunikációkutató. Viszont gondoljunk bele: csak az USA-ban van 6000 felsőoktatási intézmény, ezek közül 5900 ott is ugyanezekkel a problémákkal küzd, mondja Demeter, aki szerint megoldaná a pocsék minőségű cikkek publikációs dömpingjét, ha egy a 2000. helyen rangsorolt egyetem mondhatná, hogy nála az jelenti a minőséget, hogy nagyon jól tanítja a mások által termelt tudást. Ehhez azonban az egész tudományos világ értékrendjének át kellene alakulnia.
Kapcsolódó cikkek a Qubiten: