Csendes forradalmat ígért egy csapat közgazdász, akik a gyógyszerkísérletekhez hasonló módszerrel kezdték el kutatni a szegénység felszámolásának lehetséges módjait. Elhatározták, hogy a fejlődő országokban elterjedt fejlesztési programok minél több változatát ún. Randomized Controlled Trial-nek (RCT), azaz randomizált kontrollált vizsgálatnak vetik alá, és összemérik eredményeiket, hogy végre kiderüljön, hogy mik az életszínvonal növelésének leghatásosabb módjai. 

Milyen hatással van a felvételi eredményekre, ha több tanár jut egy diákra? A sima megfigyeléses vizsgálatok nem adnak megbízható választ. Hiába figyeljük meg országosan, hogy a kisebb létszámú osztályok, tegyük fel, jobb felvételi eredményeket érnek el, nem lehet biztosan tudni, hogy ezt a többlet tanári figyelem okozza vagy más hatások: például hogy ezek a sulik többnyire jobban finanszírozottak, gondosabban szelektált diákok járnak oda (ez felfelé torzítja az értékelésünket). De az is lehet, hogy azért küldtek oda több tanárt, mert rosszak voltak az eredmények, vagy speciális nevelési igényű diákok járnak oda (ez lefelé torzítja az értékelést).

Ezzel szemben egy RCT esetén kijelölünk és két csoportba osztunk néhány véletlenszerűen kiválasztott iskolát. Az iskolák egyik felébe extra tanárokat veszünk fel, a másikba (kontrollcsoport) pedig nem. Az intervenció után pedig megmérjük, hogy mekkora az eltérés a két csoport felvételi eredményeiben. Ez a módszer, na meg a részleteiben kidolgozott kísérleti protokoll, a kísérlet előtt és után végrehajtott mérések sora és további módszertani csavarok azt ígérték, hogy így végre pontos, számszerű eredményeket kapunk, még ha kicsi mintákon is vizsgálódunk (evégre drágák ezek az RCT-k) .

2003-ban megalakult e mérési mozgalom zászlóshajójának számító Poverty Action Lab (vagy mai nevén J-PAL) kutatási központ Esther Duflo professzor vezetésével. Csak ez a kutatóközpont 968 RCT kísérletet hajtott végre, további más intézményekkel együtt pedig már több mint 2500 RCT kísérletet készült. A vezető közgazdasági folyóiratokban is egyre gyakoribbak az ilyen módszerű cikkek, és a kutatók egy része randomista becenévvel, azaz RCT módszerrel kutatónak címkézi magát. Most, hogy 15 éve folynak nagyobb számban ezek a kutatási kísérletek, időszerű felvetni, hogy valójában mennyire sikeres ez a mozgalom.

Ami megy Bangladesben, nem biztos, hogy sikerül máshol

Kezdjük a mozgalom sikereivel. Egy sor intervencióról derült ki RCT-k hatására, hogy mennyire erős, szerteágazó pozitív hatásai vannak. Ilyen volt például a gyerekek féreghajtó gyógyszerrel való ellátása Kenyában, amiről kiderült, hogy nemcsak egészséget óvja, de a tanulmányokban is segít. 8 különböző országban mutatták ki RCT-k segítségével, hogy az ingyenes maláriaháló-osztás hatékonyan működik, és – ellentétben a közkeletű vélekedéssel, miszerint az ingyen dolgokat nem becsülik – a hálókat rendeltetésszerűen is használták. Jelentős mezőgazdasági hozamnövekményt érnek el azok a Kelet-Afrika-szerte élő kisbirtokos parasztok, akik részesülnek a One Acre Fund vetőmaggal, műtrágyával és információval segítő programjából. A sort még hosszan lehetne folytatni. Más bevett intervenciókról – így például a kecske- és csirkeosztásáról szegény családoknak – kiderült, hogy kevéssé költséghatékonyak. A J-PAL honlapja részletesen ismerteti a különböző intervenciók értékelését, míg a Givewell nevű honlap kifejezetten a leginkább költséghatékony programokat mutatja be az adakozni vágyóknak. 

A sikeresnek bizonyult beavatkozásokat kisebb változtatásokkal egyre több országban ismételték meg. Az újabb kísérletek többnyire szintén statisztikailag szignifikáns pozitív hatásokat mutattak, és már-már azzal kecsegtettek, hogy univerzális, mérnöki pontosságú becsléseket kapunk az intervenciókról. 

Eva Vivalt, egy kanadai kutató nyitott egy AidGrade nevű weboldalt, ahol kategorizálta a különböző fajta intervenciókat (többségében RCT-ket), és részletes eredményeiket összesítette. Összesen közel kétezer olyan különböző hatásmérési eredményt talált a tanulmányok között, amelyek ismétlődnek, és közvetlenül összemérhetők (egy intervencióhoz általában többféle hatás tartozik). Az eredmények elemzéséből született tanulmánya, aminek egyik fő ábrája alább látható, azt mutatja meg, hogy bár az hatások többsége pozitív (tehát jobbra esik a vonaltól), az elvileg nagyon hasonló programok eredményei erősen szóródnak. Több negatív is akad, illetve ha valahol mégis sűrűsödnek, akkor az többnyire a 0 hatást jelző piros vonal környékén van. Precízebben fogalmazva azt találta, hogy egy kísérlet eredménye egy másik hasonló kísérlettől átlagosan körülbelül annyira esik távol, mint a nullától. 

Az eredmények ilyen fokú szórásának lehetnek módszertani okai is (erről lejjebb), de valószínűbb és prózaibb ok lehet, hogy attól, hogy egy mikrohitelprogram Bangladesben segíti a vállalkozások növekedését, nem biztos, hogy Mongóliában is ugyanúgy fog működni.

Hasonlóan kijózanító hatású volt, amikor a Kenyában élő szegényeknek feltételek nélkül készpénzt osztó programról kiderült, hogy az első években a randomisták által mért és publikált jelentős jólétnövelő hatások néhány év elmúltával lecsengtek. (Erről korábbi cikkemben már írtam). 

Egy másik program, amit a randomisták kiemelten sikeresnek értékeltek Bangladesben, vidéki farmereket látott el információval és kölcsönpénzzel, hogy retúr távolsági buszjeggyel a nagyvárosba utazhassanak alkalmi munkát vállalni az ültetés és aratás közötti időszakban. Ám míg kicsiben, 68 faluban meghirdetve ez rendkívül hatékonynak bizonyult, nagyban, 700 falura kiterjesztve már nem volt eredményes. A programot azóta felfüggesztő szponzorszervezet szerint a kudarc oka többek között az lehetett, hogy a megnövelt méretben nem tudták olyan jól működtetni a programot. Szűrés híján így olyanok vehettek részt a programban, akik vélhetően saját költségükön is ingáztak volna, ha a kontrollcsoportba kerültek volna.  

Ha az állam rátelepszik

Még egy tanulságos eset kapcsolódik a programok kiterjesztéséhez. A J-PAL-t vezető Esther Duflo azt vizsgálta 2005-ben, hogy lehet-e Kenyában az iskolai teljesítményen javítani, ha a bevett közalkalmazotti rendszer keretein felül további szerződéses tanárokat alkalmaznak, hogy csökkentsék az osztályok zsúfoltságát. Ezeket a szerződéses tanárokat helyben választják ki, és nem a központ küldi őket, mint a többi tanárt, kisebb bért kapnak és egy évre szerződnek velük, aminek meghosszabításáról egy többségében szülőkből álló testület dönt. Duflo a tanulmányban arra jutott, hogy a Világbank által finanszírozott és egy helyi civil szervezet által működtetett regionális kísérleti program hatékony volt. A 140 szerződéses tanár jóval kevesebbet hiányzott átlagosan (ez Kenyában gyakori probléma), diákjaik meg jobban tanultak, mint a kontrollcsoportban. 

A kísérlet sikerén felbuzdulva nagyobb méretű program végrehajtásába vágott bele a kenyai kormányzat, ezúttal a program aktív lebonyolítójaként 18 ezer szerződéses tanár felvételére vállalkozott. Egy tavaly megjelent másik tanulmány ennek a kiterjesztett országos programnak a hatását már úgy vizsgálta meg, hogy az elhelyezett 18 ezer tanáron felül (akiket fokozatosan vettek fel, és akiket nem lehetett véletlenszerűen elhelyezni) még 64 véletlenszerűen kiválasztott iskolába küldtek egy-egy szintén a kormányzati program keretében tanító szerződéses tanárt. További 64 iskolában egy-egy olyan tanárt helyeztek el, akinek a szerződése azonos volt, de az előző kísérlethez hasonlóan egy civil szervezet adminisztrálta azt. Emellett kontrollcsoportnak kijelöltek még 64 iskolát, ahová nem ment extra tanári erőforrás.

A tanulmány szerzői arra jutottak, hogy a program új fázisa hasonlóan hatásos volt az előzőhöz, de csak ott, ahol a civilek bonyolították le. A kenyai központi kormányzat által adminisztrált program nem hozott mérhető javulást a kontrollcsoporthoz képest, amit politikai okokkal magyaráznak a szerzők. A nagy méretű kormányzati program a tanári szakszervezetek ellenállásába ütközött, ezért végül csak részlegesen hajtották végre a rugalmasabb szerződések adta lehetőségeket. Sőt a kísérlet lezárta után a tanári sztrájkok hatására a kormányzat úgy döntött, hogy közalkalmazotti védett státuszt ad a 18 ezer szerződéses tanárnak.

Nem áll össze a nagy kép

A szakma nagy gondolkodói – így például a Nobel-díjas Angus Deaton és Nancy Cartwright  egy cikkben, vagy a Világbank kutatási részlegének volt vezetője, Martin Ravallion egy másik cikkben, vagy Lant Pritchett és Justin Sandefur egy harmadik cikkben – módszertani kritikákat is megfogalmaztak az RCT-vel szemben. Mindhárom cikkben eltérő okfejtéssel bár, de azt állítják, tévednek a randomisták, amikor azt feltételezik, hogy egy RCT mindig jobb mérőeszköz, mint a megfigyeléses vizsgálat – valójában nincsen módszertani felsőbbrendűség. 

A fentiek összegzéseként elmondható, hogy bár az egyes RCT tanulmányokból értékes tudást nyertünk egy-egy beavatkozásról, ezek nem állnak össze, és nem mutatnak egy nagyobb, általánosabb érvényű megoldás irányába. Néhány – főként közegészségügyi – programról ugyan kiderült, hogy valóban hatékonyan működik a világ különböző pontjain és egyre növekvő méretekben is. Ám a fejlesztéspolitika legtöbb területén a fontos problémák jelentős része – az adminisztratív problémáktól kezdve a közösségi kooperációs kérdéseken át a politikai játszmákig – akkor kerül felszínre csak igazán, amikor élesben, tartósan és országosan vezetik be a programokat. Márpedig ezeknek a problémáknak a számszerűsítésére a randomisták nem találtak megoldást.

A szerző a CEU School of Public Policy kutatója. Korábbi írásai itt olvashatók. 

Kapcsolódó cikkek a Qubiten: