Superforecasting: hogyan tudod megjósolni a jövőt?

Philip Tetlock amerikai politológus-pszichológust mindig izgatták a világot formáló események. Saját bevallása szerint ugyanakkor borzasztóan zavarta, hogy a különböző politológusok előrejelzései sokszor ellentmondanak egymásnak, és hogy egyes szakértők csak nagyon ritkán ismerik be a tévedéseiket. Hogyan tehetnénk ezt a folyamatot sokkal pontosabbá, a szakértőket pedig elszámoltathatóvá? Tetlock 1984-ben indította első kísérleteit, amelyek célja az volt, hogy tudományosan mérjék a politikai jóslatok és az őket előállító szakértők pontosságát. Tetlock felfedezései szerint néhány tulajdonság elsajátítása bárkit hozzásegíthet ahhoz, hogy pontosabban gondolkodjon jövőbeli, bizonytalan eseményekről, és így a társadalmi viták is konstruktívabb mederbe terelhetők.

„A szakértők feleslegesek, a predikcióik nem jobbak, mintha egy majom véletlenszerűen találgatna”

Sokan a fenti következtetést vonták le Tetlock először 2005-ben kiadott, Expert Political Judgment: How Good Is It? How Can We Know? (Szakértők politikai véleményalkotása: Mennyire pontos? Honnan tudjuk?), magyarul máig kiadatlan könyvéből. A média által felkapott hasonlatért Tetlocknak sokszor elnézést kellett kérnie kollégáitól. Még ha az állítás túlzás is, a 19 év kísérletei és több mint 28 000 elvégzett előrejelzés alapján íródott könyv annyi tanulsággal mindenképpen szolgál, hogy olyan jövőbeli események megjósolásánál, ahol nagymértékű bizonytalanság áll fenn, a politikai, statisztikai szakértők túl gyorsan ítélnek, valamint nehezen változtatják meg a már kialakult véleményüket. Ráadásul a legpontatlanabbak a leghíresebb elemzők voltak, ugyanis ők, amikor például tévéműsorokban szerepelnek, hajlamosak eltúlozni saját becslésük pontosságát, és ritkán vallják be, hogy meggondolták magukat vagy tévedtek. Így, ha egy majomnál pontosabbak is, általában rosszabbul teljesítenek, mint a legegyszerűbb statisztikai modellek.

Kik jeleznek előre a szakértőknél pontosabban? A mindennapi emberek

A kötet megjelenése után Tetlock és szerzőtársai figyelme arra irányult, hogyan tudnánk az eddiginél jobb becsléseket kapni jövőbeli, bizonytalan eseményekről. A 2011-ben elindított Good Judgement projektbe átlagembereket kerestek, és arra voltak kíváncsiak, kik és hogyan adják a legpontosabb előrejelzéseket. A megkérdezetteknek olyan kérdésekre kellett válaszolniuk, aminek a mai megfelelői például: “Hányszor emel majd kamatot az amerikai központi bank (FED) 2018. március 7. és szeptember 30. között?” vagy hogy “Többséghez jutnak-e a demokraták a Képviselőházban vagy a Szenátusban 2018. november 7-én, az időközi választások másnapján?”

A kísérlet kezdetén rövid, egyórás képzést tartottak a résztvevőknek, ami a kognitív előítéleteiktől igyekezett megszabadítani őket, majd az első év leteltével a kísérleti alanyokat teljesítményük alapján csoportokba rendezték, ahol megbeszélhették egymással becsléseiket. Kiderült, hogy a legjobban teljesítő 2 százaléknyi becslő a várakozásokat és a szakértőket messzemenően felülmúlva tudott előrejelezni. Ők lettek a superforecaster-ek (szuperbecslők, szuperjósok) csoportja. Nem meglepő módon a képzés és a csoportos megbeszélés lehetősége is javított az eredményeken, és a szupercsapatnál mutatkozott a legerősebb a hatás.

Sokan úgy gondolták, hogy a következő években a szuperek elvesztik szuperképességeiket, és nem lesznek jobbak a többi jó becslőnél, mivel az első évben csak szerencséjük volt. Ha azonban léteznek bizonyos tulajdonságok, amik a szupereket ilyen jóvá teszik, akkor a teljesítményük fenntartható. Mivel az elit csapat teljesítménye évről évre egyre emelkedett, a második meglátás bizonyult helyesnek.

A szuperbecslőkkel készült személyes interjúk arra is rávilágítottak, hogy mik azok a személyiségjegyek, amelyek szuperbecslővé tesznek valakit:

• magas intelligenciájuk van, de nem zsenik;
  
• nagy tárgyi tudással rendelkeznek bel- és világpolitikai, gazdasági és tőzsdei kérdésekben;
  
• bennük a legerősebb a versenyszellem;
  
• erősen hisznek abban, hogy a gyakorlás fejlődéshez vezet;
  
• világnézetüket tekintve nem vallásosak;
  
• nyitottak, és a becslés után felmerülő bizonyítékok ismeretében sokkal valószínűbb, hogy felülvizsgálják a korábbi becsléseiket, mint mások.

Miután megmondták nekik, hogy a szupercsapatba kerültek, az alanyok még több időt szenteltek az információgyűjtésnek, még több hírt olvastak. Főként ennek a nyitottságnak köszönhető, hogy a szupercsapat kiemelkedően sokat fejlődött az évek során - mivel a saját hibáikat többször ismerték fel, egyre jobb jósok lettek. Ezen felül pontosabban érzékelték az időtávlatokban és az esélyekben lévő kis különbségeket is.

A szuperek nemcsak pontosabban becsülnek, mint az átlagember, hanem azt is jobban meg tudják határozni, hogy mennyire biztosak egy-egy tippjükben. Teljesítményük a következő években nem csak az átlaghoz, hanem a második legjobb csoporthoz képest is szignifikánsan javult.

Te is lehetsz szuperjós!

Az átlagnál magasabb intelligencián kívül a fenti tulajdonságok között nincs olyan, amit ne tudna bárki elsajátítani. A jó eredményhez gyakorlás és nyitottság szükséges, valamint az, hogy az ember hajlandó legyen korábbi véleménye felülvizsgálatára és az előítéletek kiiktatása. A Tetlockék által megkezdett kísérlet bizonyos formában most is zajlik. A Good Judgement Open, azaz nyitott projektbe bárki jelentkezhet e-mail címének megadásával. A projekt célja, hogy tehetségkutató jelleggel azonosítsa a köztünk járó szuperbecslőket,. A Fareed Zakaria CNN-es újságíró és a The Economist által is népszerűsített program az általuk foglalkoztatott szuperek becslését árulja pénzért, témánként csoportosított jegyzetek formájában, és a program keretében képzéseket is tartanak magukat fejleszteni vágyó érdeklődő jósoknak. Eredményeiket arra szeretnék felhasználni, hogy visszakövethetővé, ellenőrizhetővé és tényszerűbbé tegyék a politikai és társadalmi vitákat.

Hogyan számolják ki, hogy mennyire jó egy becslő tippje?

A Good Judgement projektben a résztvevőknek az alábbihoz hasonló kérdésekre kell válaszolniuk: “Ellátogat-e a dél-koreai elnök, Mun Dzsein Phenjanba 2019. január 1-je előtt?” Tehát a kérdés szerkezete: “Végbemegy-e X esemény Y időtávon belül?”. A résztvevők azonban nemcsak igennel vagy nemmel válaszolnak, hanem azt is megadják, hogy szerintük mekkora eséllyel történik meg az esemény a megadott időtartamon belül. Mivel az esemény vagy bekövetkezik, vagy nem, meg kell határozni, hogyan értékeljük egy-egy tipp pontosságát - erre a Brier-pontszámot használják.

2019. január 2-án meghatározzák, hogy megtörtént-e a látogatás: ha nem, az a 0 esemény, ha igen, az az 1. Ha pedig valaki p esélyt tippelt, akkor a tippjének a Brier-pontszáma (p-0)² , ha nem következett be az esemény, és (p-1)² , ha bekövetkezett. Minél alacsonyabb a Brier-pontszám, annál jobb volt a tipp. Ha valaki azt jósolta, hogy 30 százalék eséllyel történik meg a találkozó, és az mégsem jött létre, az ő Brier-pontja 0,09 lesz. Ennél jobb eredményt lehet elérni, ha még kisebb esélyt adunk az eseménynek (pl. p=20%-nál 0,04-es Brier-pontot kapunk), és rosszabb pontszámunk lesz, ha ennél nagyobbat adunk. Azt is ki lehet mutatni, hogy ha minimalizálni szeretnénk Brier-pontszámunk várható értékét, akkor az az optimális stratégia, hogy p-nek a kísérlet szándékával megegyezően azt adjuk meg, amekkora eséllyel szerintünk bekövetkezik a találkozó, azaz a Brier-pontszám ösztönzi az őszinte és legjobb tudás szerinti válaszadást.

Lehet, hogy csak szerencséjük van

A mostanra már önálló márkává váló projektet ugyanakkor kritikák is érik. Sok pszichológiai kísérletről derül ki, hogy nem voltak elég átláthatóak a körülmények, így akár nem szándékos manipulációk is történhettek, amelyek a kutatók előzetes elképzelése alapján alakították az eredményeket. Ha a kísérlet megismétlésekor nem mutatható ki ugyanaz az eredmény, mint első elvégzéskor, akkor az alapjaiban rengetheti meg a kísérlet érvényességét. Ha kiderül, hogy az 1984-től zajló kísérletek első éveiben akár csak kis módszertani pontatlanság történt, az aláássa a levont következtetéseket, amelyek szerint a szuperbecslők valóban ennyivel jobbak lennének a pusztán csak jó előrejelzőknél, és megnyitja az utat annak a magyarázatnak, hogy elég sok résztvevő esetén könnyű olyat találni, aki éppen az adott években konzisztensen jól tippelt, mert szerencséje volt.

Kétséges továbbá az is, hogy az interneten a nyitott projektbe feliratkozó, és online jónak ítélt előrejelzők becslései mennyire megbízhatóak, illetve hogy az ennek alapján adott, nyilvánosan vagy pénzért elérhető predikcióknak van-e értéke.

A szerző az Oxfordi Egyetem mesterszakos közgazdaságtan-hallgatója. Összes írása a Qubiten itt olvasható.