Fake news a tudományban: hogyan lehet gátat szabni a csaló kutatásoknak?
Több olyan botrányos eset is bejárta a világsajtót a közelmúltban, amikor neves kutatókról derült ki, hogy meghamisították az eredményeiket (pl. Brian Wansink, Diederik Stapel vagy Marc Hauser). Minden valószínűség szerint ezek az esetek kirívók, adathamisításra ugyanis kevés kutató vetemedik, de a tudományos csalás enyhébb módszerei, a statisztikai trükközések egyes felmérések szerint nagyon is elterjedtek: az ökológiában és a biológiában 42 és 64 százalék között, a pszichológiában 20 és 70 százalék között van ez az arány.
Mindezek hozzájárulnak a tudomány reprodukálhatósági válságához, aminek oka, hogy a neves tudományos folyóiratokban megjelenő eredmények egy része egész egyszerűen hamis. Ennek egyik jele, hogy ha megismétlünk egy kísérletet, nagy valószínűséggel nem fogjuk ugyanazt az eredményt kapni, mint az eredeti szerzők. Ez aggodalomra ad okot, és megingatja hitünket abban, hogy a tudomány jól működik, és segít megértenünk a világot.
Miért csalnak egyes kutatók?
Röviden: a tudományfinanszírozás és a tudományos publikálás mechanizmusa ösztönzi csalásra a kutatókat. Amikor egy kutatóban felmerül egy megvizsgálandó kérdés, megtervez hozzá egy kísérletet, amellyel bizonyítékokat gyűjthet elméletének alátámasztásához. A kísérlet tervével kutatási pénzekre pályázik; ha nyer, elvégzi a kísérletet, elemzi az adatokat, és megírja az eredményeit egy kéziratban.
A hagyományos publikációs modell szerint a kéziratokból készülő cikkeket tudományos folyóiratokon keresztül terjesztik. A szerző beküldi a kéziratot egy folyóirat szerkesztőségébe, ahol a főszerkesztő eldönti, hogy a téma érdekes-e a kiadványnak. Ha igen, akkor megkér három másik kutatót, hogy bírálják el a kéziratot: írjanak róla véleményt, hogy érdemes-e publikálni, nézzék át, tegyenek javaslatokat javításokra. A javasolt javításokat a szerző megfontolja, és ha elfogadhatónak gondolja, elvégzi őket. Ha nem ért egyet velük, akkor sokszor több hónapig tartó levelezés alakul ki a szerző és a bírálók között, míg közös nevezőre nem jutnak. Végül, ha mindenki egyetért, publikálják a cikket a folyóiratban. A folyóiratokat az egyetemek könyvtárai megveszik (sokszor több milliós éves előfizetési díjért), az egyetem kutatói elolvassák, és ezek alapján újabb kísérletek ötletei merülnek fel bennük.
Kérdés, hogy miért nem hagyjuk ki a kiadók időrabló és költséges szerepét az egész folyamatból. Hiszen ma már a szerzők maguk is terjeszthetnék a kézirataikat az interneten, gyorsan és ingyen. Az egyik ok a kiadók minőségellenőrző szerepe: sok bíráló nagyon lelkiismeretes munkát végez, és javaslataik alapján javul a cikk minősége. A szelekció sem elhanyagolható szempont, hiszen annyi kézirat születik egy-egy szűkebb tudományterületen belül is, hogy képtelenség követni őket – ezért sokan, főleg az idősebb generáció kutatói, egy-egy kedvenc folyóiratukat böngészik át minden hónapban, hogy tájékozódjanak az új eredményekről.
Ezeknél is fontosabb tényező a kiadók szerepét bebetonozó impaktfaktor (IF). Az impaktfaktor a folyóiratok presztízsét, befolyását mutató mérőszám, amit a cikkekre érkező hivatkozásokból lehet kiszámolni: minél többen olvassák és hivatkozzák (azaz említik saját cikkeikben) egy folyóirat cikkeit, annál nagyobb a folyóirat impaktfaktora. A folyóiratok bevétele az impaktfaktoruktól függ: minél magasabb, annál többen akarják olvasni a folyóiratot, annál több kutatóhely fog előfizetni rá, és annál többen akarják ott publikálni eredményeiket. A folyóiratok úgy tudják növelni az impaktfaktorukat, ha olyan cikkeket közölnek, amelyeket feltehetően sokan fognak olvasni. Igen, ez a mechanizmus már gyanúsan hasonlít a klikkvadász bulvárhírekére!
Az impaktfaktorból ráadásul levezethető egy másik mérőszám is, az összesített impaktfaktor, amely a kutatókat minősíti. Egy kutató impaktfaktorát úgy lehet kiszámolni, hogy összeadjuk a kutató cikkeinek impaktfaktorát, vagyis azoknak a folyóiratoknak az impaktfaktorát, amelyekben a cikkek megjelentek. Ez azért furcsa, mert egy cikk impaktfaktora nem a cikk saját olvasottságtól függ, hanem a folyóiratban megjelenő többi cikk olvasottságától, idézettségétől. A kutatóknak sokszor a megélhetése függ az összesített impaktfaktortól, mert álláspályázatoknál vagy kutatási pénzek kiosztásánál ez alapján hasonlítják össze a kutatókat, és részben ezen múlik a döntés, hogy ki kapja a támogatást. A kutatók úgy tudják növelni összesített impaktfaktorukat, ha minél több cikket írnak, és ezeket minél magasabb impaktfaktorú folyóiratokban közlik. A kutatók fizetsége kézirataik fejében, hogy növelhetik összesített impaktfaktorukat – pénzt ugyanis nem kapnak a kiadóktól.
És itt körbeért a ciklus: mivel a folyóiratok inkább az érdekes, szenzációs híreket szeretik, a kutatók megpróbálják eredményeiket ennek megfelelően bemutatni. Az élet viszont nem mindig érdekes és szenzációs. Vannak elméletek, amelyeket nem igazolnak a kísérletek, és van, amikor nem egyértelmű a kísérletekből levonható következtetés, de a kutatók ezeken a kísérleteken is sokszor évekig dolgoznak. Mindezt azért, hogy végül semmilyen „jutalmat” ne kapjanak érte, hiszen egyik kiadó sem fogja közölni cikkeiket, kollégáik nem fogják elolvasni, összesített impaktfaktorukat pedig nem fogják növelni. Néhány kevésbé szerencsés év, és a kutató véglegesen lecsúszhat: nem kap meg pályázatokat, állásokat, nem tud további kutatásokat végezni. Az eredmények meghamisítására az adja a motivációt, hogy ezt elkerüljék.
Miért nem buknak le hamarabb?
Hogy lehet, hogy egyes kutatók, még azok is, akik a legdurvább adathamisítási módszereket alkalmazzák, évekig megússzák a lebukást? Hát nem az ilyen esetek kiszúrása lenne a kiadók feladata?
De igen, csakhogy ezt a feladatot a bírálóknak adják tovább, akiknek nem sok külső motivációja van arra, hogy jó munkát végezzenek. A bírálók ugyanis ingyen dolgoznak a kéziraton, ráadásul a legtöbb folyóiratnál névtelenek is maradnak. Vagyis semmilyen jutalmat nem kapnak azért, ha jó munkát végeznek, és a hírnevük sem szenved csorbát, ha felületesen dolgoznak. A bírálók ugyanolyan kutatók, mint a kéziratok szerzői, a saját kutatásukon dolgoznának, és ettől vesznek el napokat egy-egy kézirat alapos ellenőrzésével. A legtöbb folyóiratnál nincsenek meghatározva a bírálatok követelményei, ezért el lehet intézni a feladatot két-három bekezdésnyi szöveggel a kézirat átfutása után. Bár vannak bírálók, akik ennél sokkal alaposabb munkát végeznek, és akár két-három napot is dolgoznak egy-egy kéziraton, az adatokat és az eredmények kiszámolását általában még ők sem ellenőrzik.
Mit lehet tenni?
Ezek után meglepő, hogy egyáltalán működik a rendszer. Ez azért lehetséges, mert a legtöbb kutató őszintén elkötelezett a munkája iránt, az anyagi sikerekről pedig már akkor lemondott, amikor szakmát választott. Mit lehetne tenni azért, hogy megbízhatóbb legyen a tudomány? Hogyan lehetne megváltoztatni a publikációs modellt úgy, hogy senkinek ne legyen se érdeke, se lehetősége csalni?
Az internetes lapkiadás korában már nincsenek szigorú terjedelmi korlátjai a folyóiratoknak, így teret kaphatnának az „unalmasabb”, kevésbé szenzációs eredmények is. A cél az lenne, hogy a kéziratokat főleg minőségük, és ne hírértékük alapján válogassák. Hiszen egy sikertelen kísérlet tanulságai ugyanúgy fontosak a tudomány haladása szempontjából, mint egy olyan kísérleté, ahol a kutatónak történetesen sikerült bizonyítania az elméletét. Szerencsére már vannak folyóiratok, amelyek ezekhez az elvekhez tartják magukat, például a PLOS. Más folyóiratok még elkötelezettebbek: a kísérletek terveit még a kísérletek elvégzése előtt bírálják el. Ha elfogadják a tervet, akkor kötelezik magukat arra, hogy a kísérlet kimenetelétől függetlenül publikálják az eredményeket: ilyen például a BMC Biology és az AMPPS.
A kiadóknak nagyobb hangsúlyt kellene fektetniük a minőségellenőrzésre is, ha már más hozzáadott értékük – a nyilvánosságon túl – gyakorlatilag nincs. Bevételeikből bizonyosan futná a bírálók díjazására vagy extra minőségellenőrök megfizetésére: a kéziratok szövegén kívül az adatokat és a számításokat is ellenőrizni kellene. Ehhez kötelezni kellene a kutatókat arra, hogy tegyék nyíltan elérhetővé a kísérletekből nyert adatokat és az ezek feldolgozásához, analíziséhez használt számítógépes programokat. Segítené továbbá a tisztulást, ha a bírálókat nevesítenék és elismernék: így nekik is jobban megérné minőségi munkát végezni.
Az összesített impaktfaktor helyett sok helyen már elkezdtek más mérőszámokat használni, amiket a cikkek saját idézettségéből lehet kiszámolni, és nem a folyóiratok impaktfaktorából (ilyen pl. a Google Scholar által automatikusan számolt h-index és i10-index).
A kutatók elkötelezettségét mutatja, hogy a legtöbb változtatás alulról jövő kezdeményezések nyomán alakult ki. Az Open Science mozgalom célja, hogy a kutatás átlátható és mindenki számára hozzáférhető legyen. Olyan módszereket népszerűsít, mint pl. az előregisztráció, amikor a kutató nyilvános adatbázisokban rögzíti a kísérletek elvégzése előtt, hogy mit tervez, ezzel megszüntetve a lehetőséget, hogy utólag trükközzön. Az adatokat és a kéziratot is nyilvánosan elérhetővé teszik, így önkéntes alapon bárki kritizálhatja a kéziratot, nem csak a kiadó által választott három bíráló. Ezáltal még a publikáció előtt jelentősen javulhat a kézirat minősége.
Innen már csak egy lépés lenne a kiadók teljes kihagyása a ciklusból, de erről azért eltérnek a vélemények. Míg a fent említett törekvések a legtöbb kutató szerint üdvözlendők, a kiadókhoz sokan ragaszkodnak. Akik a kalóz adatbázisokat és a cikkek ingyenes terjesztését támogatják, azok is inkább azt nehezményezik, hogy a kiadók óriási profitja közpénzből származik. Mindenesetre az látszik, hogy a kiadók mai helyzete nem tartható, a változás már elindult. A változások pedig szerencsére abba az irányba haladnak, amely az őszinte és átlátható tudománynak kedvez.
Az írás előadás formájában elhangzott az október 11-i Budapest Science Meetupon.
A szerző biológus, az MTA-ELTE Elméleti biológiai és Ökológiai Kutatócsoport munkatársa.