Az elmúlt hetekben a nemzetközi techsajtót is bejárta annak az őrülten hangzó kísérletnek a híre, amelyben egy magyar kutató patkányokat tanított meg játszani a Doom II nevű videójátékkal. A Futurism-től a Kotakun át az IGN-ig mindenhol szenzációként tálalták a projektet, amellyel ötletgazdája, a 29 éves Tóth Viktor egészen Elon Musk biotechnológiai cégéig, az agy-számítógép interfészt (BCI) fejlesztő Neuralinkig jutott, legalábbis egy állásinterjú erejéig.

Tóth a BME mérnökinformatikus szakán kezdte egyetemi tanulmányait, itt végzett először méréseket agyi jelek olvasására való (EEG) eszközökkel, ami felkeltette az érdeklődését az idegtudomány iránt. Mesterdiplomáját már a finn Aalto Egyetem idegtudomány szakán szerezte, de a második évében már a Szilícium-völgyben gyakornokoskodott, ahol egy kiberbiztonsági cégnél foglalkozott adattudománnyal.

Legutóbbi munkahelye a New York-i Feinstein Orvostudományi Kutatóintézet volt, ahol klinikai predikciós AI-modelleket fejlesztett, perifériás idegpályákat térképezett fel, de közben agyi jelekkel is tovább dolgozott, állatokba és emberekbe ültetett elektródák felvételeinek vizsgálatával. Ha ez sem lenne elég, 2018-ban a vakságról szóló szakdolgozata miatt egy kísérletben öt napra megfosztotta magát a látástól, de a pandémia első hónapjaiban covidkutatással is foglalkozott.

Friss kísérletével, amelyben három patkányt (a Doom készítői után elnevezett Romerót, Carmacket és Tomot) tanított meg doomozni virtuális valóságban (VR), azonban már a nemzetközi mainstreambe is be tudott kerülni, de továbbra sem szűkölködik különös mellékprojektekben – nemrég mesterséges intelligencia segítségével készített filmet Carl Gustav Jung legbonyolultabb művéből, amit NFT-ként adott ki.

Amikor legutóbb, 2018-ban beszélgettünk, épp egy izgalmas, vaksággal kapcsolatos kísérleten voltál túl a Szilícium-völgyből hazatérve, és New Yorkba készültél. Előtte kutattál Finnországban és Indiában is, mi minden történt azóta?

Akkoriban végeztem a mesterdiplomámmal, utána pedig kimentem egy New York-i laborba két és fél évre, úgy, hogy eredetileg csak egy-másfél év volt tervben. Dolgoztam rengeteg covidkutatáson, vizsgáltam malacok periférikus idegrendszerét és hasonlók. Elrepült a két és fél év, kicsit túl gyorsan is. Az lett volna a célom kint, hogy idegtudományi vonalon menjek tovább, viszont túl sok klinikai projekttel kellett foglalkoznom, így leléptem. Nagyjából félévenként jártam haza, covidkutatóként a járvány elején is könnyedén repülhettem. Hazajöttem pár hétre, és megértettem, hogy nem motivál annyira a kinti élet, ideje a barátokkal és a családommal is lenni. Azóta innen dolgozom.

Röviden miről szólt az említett vakkísérlet?

Mesterséges intelligenciával generáltam hangjelet képekből, hogy a vakok is „láthassanak” a fülükkel. Örömmel töltött el, hogy néhány dél-koreai labor nemrég felkapta a tézisem központi ötletét, és fejlesztik is tovább. Azóta nem foglalkoztam vele sokat, de a zsebemben van egy-két játékötlet vakoknak.

Legújabb projektedben patkányokat tanítottál doomozni. Ez úgy hangzik, mint valami őrült tudós sötét pincében végrehajtott kísérlete, pedig rengeteg munka és tudás van mögötte. Mióta érlelődik ennek a gondolata?

Valamikor 2020-ban jött az ötlet, akkor írtam egy cikket arról, hogyan is kéne kivitelezni a kutatást. Végül azzal hackeltem be magamat egy Neuralink-állásinterjúra is.

A kutatásodról azóta a 16 millió feliratkozóval rendelkező IGN is megosztott egy videót, lehozta az NME, interjúzott veled a Futurism, és itthon is elkezdtek rólad cikkezni.

Először annyit láttam, hogy a Mediumra feltöltött összefoglaló cikkemet az egyik héten elolvasták 1200-an, úgy, hogy előtte maximum 50 embert ért el. Elkezdtem utánanézni, hogy mi dobta meg ennyire a népszerűségét. A PC Gamer volt az első, amire vissza tudtam vezetni, onnantól a magyar és a külföldi Gamestar, a PC Guru, az IGN, a The Gamer, az Interesting Engineering és a Kotaku is ráugrott. A kutatást podcastokban is említik, de sokan nem értik, mi történik valójában, így kissé félreértelmezik. De öröm volt, hogy rátaláltak egy-két hónappal a publikálás után.

link Forrás

Kérlek, röviden ismertesd a kutatás lényegét és fő eredményeit.

A kísérletnek a lényege, hogy döntéshozatali folyamatokat tudunk dekódolni anélkül, hogy majmokat vagy akár embereket alkalmaznánk. Sokkal gyorsabban lehet iterálni ezeket a dekódoló algoritmusokat, és nagyságrendekkel olcsóbb is. Az eredményt két részre osztanám. Az egyik nagy felfedezés maga a VR-setup, a módszer, amivel automatizálni lehet a vezérlést. Igaz, még mindig jelen kell lennem, rá kell tenni az állatokat a labdára, amin futnak és fordulnak, azzal viszont nem kell foglalkoznom, hogy manuálisan tanítsam őket.

A másik maga a tanítási elv, hogy automatikusan csinálsz mindent és a szoftverre bízod a munkát. Leszögezném, hogy állatokat már mások is futtattak 3D-s világokban. Az lett volna a nagyon szép, ha lőni is megtanítom őket – Romeróval, a legjobban teljesítő állattal ezt is elkezdtük már. Fel kellett magát tolnia, majd megnyomni egy gombot, és így lőni, ami után rögtön kapta a pozitív visszacsatolást, avagy a cukros vizet. Egyébként ez a módszer is új.

Miért pont a Doom II? Van valamiféle személyes kötődésed a játékhoz?

Ezt a Neuralinknél is firtatták, amikor prezentáltam nekik. Azon kívül, hogy 10 évesen DOS-on futtattam a Doom II-t, és nagyon szerettem a játékot, rengeteg előnye is van. A textúrák nagyon egyszerűek, mégpedig az alacsony felbontásuk miatt. A patkány látása elég primitív, ezért a képernyőt is közel kell hozzá rakni. A textúra térbeli frekvenciája számít, például az, hogy amikor megy előre, mennyire és hogyan változik a folyosó széle. Vannak nagy pixelszámú vonalak, így az állat képes látni, hogy halad, ez és a folyosó tetején lévő lámpák azok a 3D-s információk, amiből a patkány a térbe tudja magát helyezni, és elhinni, hogy abban is mozog.

Kiszámoltam, hogy milyen a látása a patkánynak, és hogy mennyire kell elhomályosítani és lebutítani a játékot ahhoz, hogy érzékelje az alany, hogy előre megy. A másik tényező, hogy a játék a dinamikájában is nagyon egyszerű, csak előre tudsz menni, illetve balra és jobbra tudsz fordulni. Carmackék [John Carmack, amerikai videójáték-programozó, a Doomot fejlesztő id Software társalapítója] úgy csinálták meg a Doomot, hogy bárki tudjon hozzá pályát szerkeszteni, és azóta ez odáig fejlődött, hogy egy este leforgása alatt készíteni tudtam hozzá egy mapet. Kikötöttem, hogy az ellenfél nem mozoghat, nem támadhat, csak egy helyben állhat, ezalatt tanulják meg lelőni őket a patkányok. Az sem utolsó szempont, hogy egy kultikus játékról beszélünk. Ajánlották, hogy próbáljuk a Pacmant, de felülnézetes játékkal nem lehetne tanulni, mindenképpen egy FPS kellett.

Hogy teljesítettek a patkányok? Milyen az egyéniségük, ha beszélhetünk egyáltalán ilyenről.

Mivel korábban még nem volt dolgom patkányokkal, így én sem gondoltam volna, de van egyéniségük. Romero volt az első, aki rögtön kiugrott a kezemből, és egyszer meg is harapott. Ez azért lehet, mivel a patkányok szeretik tudni, mi van körülöttük, és jó, ha hermetikusan el vannak zárva. Folyton nézegetett, leugrott a vállamról, összevissza szaladt, ő szeszélyesebb személyiség volt. Carmack, a másik patkány szerényebben viselkedett, végignéztük, ahogy összerendezi a lakóhelyét és a saját kis játékait. És végül ott van Tom, egy igen fura arc, a vége felé ő volt az első, aki nyomás nélkül elkezdett futni a folyosón, pedig azt gondoltuk, hogy úgysem fogja megtanulni, mert az elején nagyon nehezen lehetett boldogulni vele. Mindegyikük egy valódi egyéniség, még ha ezt nem is hinnénk elsőre.

Az elmondottakból úgy tűnik, hogy elég specifikus jegyeknek kell érvényesülniük a játékhoz, de ezek a patkányokban pont megvannak.

Korábbi kapcsolódó kutatásokat elemezve azt láttam, hogy sokan a betanításon szenvedtek leginkább. Pedig csak előre-hátra-körbe mozgásokról beszélünk. Viselkedésben elvárható egy patkánytól, hogy meg tudja ezt csinálni, hiszen heti szinten kilométereket járnak be az életközösségükben, és jól feltalálják magukat bonyolult elrendezésű terekben.

Mit gondolsz, más állatokkal is működött volna a kísérlet? Akadnak, akik majmokkal végeznek hasonló technológiai kísérleteket.

Szerintem a majmot nehezebb lenne tanítani, bár ez mindig az interfésztől függ, az viszont működött már, hogy egy csimpánz joysticket használ. Továbbá egereken lehetne kísérletezni, de az ő látásuk még rosszabb, el sem merem képzelni, micsoda szenvedés lett volna.

Hogyan kapcsolható a kísérleted az emberi agy kutatásához és feltérképezéséhez?

A legtöbben persze azt hozzák ki a kísérletből, hogy mekkora szenzáció, hogy a patkány játszik a Doommal, a lényeg viszont az, hogy amint meg tudod neki tanítani a bizonyos viselkedési formákat, az interfésszel kiolvashatod az aktuális agyi állapotukat a mozgásért, tervezésért és döntéshozatalért felelős kortexből. így előre tudod jósolni, hogy mi fog történni, ha két út közül kell választania.

Szerencsére a patkányoknak vannak annyira komplex kognitív képességeik, hogy lehet rajtuk olyan dekódoló modelleket tesztelni, amiket eddig de facto csak majmoknál próbáltak. Onnantól, hogy a patkányokon is képesek leszünk dekódolni a hivatkozott agyi folyamatokat, mindössze egy lépésre leszünk az emberi agy átfogó elemzésétől. Ez voltaképp egy tesztplatform ahhoz, hogy sokkal jobban fel tudjuk térképezni a saját agyunkat.

Van valami ijesztő is abban, ahogy nézed a patkányokat. Mintha értenék a komplex feladatokat, amiket csinálnak, de közben lehet, hogy csak a megtanult jutalmazási mintázatokat követve hajtják végre a cselekedeteket.

A patkányban dolgozik egy nagyon erős kíváncsiság. Kérdés, hogy a kíváncsiságban éli-e ki magát, vagy abban, hogy pusztán a következő cukros adagot kéri. Ez a kettő akkor válik ketté egymástól, amikor olyan környezetbe helyezed, mint például a Doom. A pálya betanulása először nem kíváncsiság alapú, ha viszont elmegy a pálya bizonyos, előre be nem tanított részeire vagy zsákutcákba, az már igen, ekkor valamiféle kíváncsiság vezérli. A kutatás egyik legnagyobb korlátja sajnos pont ebben rejlik, még kellett volna egy hónap a megfelelő betanításig, 4-5 hét alatt nem tökéletesíthető a folyamat.

Le tudnád védetni a kutatásod? Nem gondolkodtál szabadalmaztatáson?

Nem, mivel már kiadtam, de nem is igazán volt célom szabadalmaztatni. Monetáris szempontból viszont sok opción gondolkodtunk. Ha a patkányok tényleg élvezik és kiélik magukat a játékban, akkor Twitchen streamelhetnénk őket az állatos videók kategóriáján belül. Bizonyos összegek után dobálnánk be nekik kajadarabkákat, a jattolóknak lehetne pályát választaniuk és hasonlók. Mindennek a teteje a deathmatch lenne [az a játékmód, amikor a játékosok nem a gép, hanem egymás ellen küzdenek], márpedig azt sem olyan nehéz betanítani.

2018-as beszélgetésünk során is szóba került Elon Musk és karrierje, azóta pedig, amint már említetted is, igen közel kerültél hozzá, vagy legalábbis a cégéhez, hiszen 2021 első felében állásinterjún voltál a Neuralinknél. Hogy jött ez a lehetőség?

Megírtam a kísérletet részletező cikket, majd elküldtem Twitteren a Neuralink akkori elnökének, Max Hodaknak. Két napig nem néztem rá az üzenetekre, aztán láttam, hogy visszaírt. A tudtomra adta, hogy érdeklődnek, és várják, hogy előadjak nekik. Utána volt egy félórás online interjúm velük, majd kireptettek magukhoz. Viszonylag speciális felvételim volt, mert én nem arról beszéltem, hogy eddig miken dolgoztam, hanem konkrétan a patkányos kísérletet adtam elő. Jelen volt az agy-számítógép interfésszel kapcsolatos kutatásokat végző részleg összes embere, a fő biológus és maga Hodak is.

Ezután négyszemközt is interjúznom kellett mindenkivel. Annak, hogy végül nem vettek fel, több oka is van. Az egyik, hogy nem azokból a dolgokból készültem fel, amiket elvártak volna. A MindPong-projektjük [amelyben a Neuralink egy majomnak tanított meg egy videójátékot] ekkor már ment, de még nem publikálták. Arról faggattak, hogy én miképp alkalmaznám majmokra, holott még sosem dolgoztam majmokkal – hozzáteszem, akkor még patkányokkal sem. Idegtudományi és gépi tanulási háttérrel rendelkezem, ezekkel akartam odamenni, mivel jól tudom, hogy ők is ezeket akarják ötvözni.

link Forrás

Mennyire élted meg ezt személyes kudarcként?

Az erről alkotott véleményem sokat változott a hónapok alatt. Részben ez vett rá arra, hogy megvalósítsam a kutatást. Belefektettem alsó hangon 4000 dollárt és temérdek időt, New Yorkban minden este bent maradtam, hogy ezen dolgozzak. Eleinte kicsit fájt, hogy nem történt meg, hiszen az, hogy az ember be tudja magát hackelni egy ilyen interjúra egy projekttel, nagy szó volt, és nagyon örültem. Végiggondoltam, hogy mi történt, és lehet, hogy úgy érezhették, nem is akarok ott dolgozni. Előtte rengeteget hallottam, hogy az ottani alkalmazottak 14 órákat húznak le egy nap. Én nem ez a fajta ember vagyok, rugalmasabb beosztáshoz szoktam, és az sem utolsó, hogy volt néhány ember, akivel nem bírtam volna együttműködni az alapján, ahogy viselkedtek velem.

De a legtöbbjük óriási agy, eszméletlen koponyák dolgoznak ott. A légkör összességében barátságos, nagyon jókat beszélgettem a vezető biológussal és az egyik kutatásvezetővel is. Olyan társalgásokba csöppen az ember, amikben amúgy nem lehet része a mindennapi életben. Látni a robotokat, a hatalmas raktárépületet, ahová berendezték magukat; egyértelműen lerí, hogy hihetetlen pénzek mozognak ott. Ettől függetlenül elég hamar rájöttem, hogy magam is össze tudom rakni a patkányos projektet, nem kell ehhez Neuralink.

Mit gondolsz, mennyire lett volna reális innen eljutni magához Muskhoz?

Nem igazán, bár azt gondoltam, hogy egy ponton, miután végigmegy a projekt, talán ő is ránéz, hiszen biztos érdekes lehet számára. Amíg Hodak ott dolgozott, amúgy is egy gamer divízió létrehozása volt a nagy ígéretük, ebben szívesen részt vettem volna.

Annyit viszont biztosan tudok, hogy a Doomot megalkotó John Carmacknek elküldték Twitteren a cikkem. Johnról tudni kell, hogy egy hardcore mérnök, az Oculus fejlesztését is ő vezette. Annyit mondott rá, hogy kicsit csalódott, tekintve, hogy a patkányok ennél sokkal többre képesek. Teljesen igaza van, jó lett volna még tovább folytatni. Épp ezért gyakorlati jelleggel még pontot akarok tenni a végére. Pár villamosmérnök haverommal lehet, hogy gyorsan és hatékonyan befejezzük, majdnem minden megvan hozzá.

Mit gondolsz Musk tervéről, miszerint chipeket szeretne ültetni az emberi agyba? A koronavírus-oltások megjelenése óta megint felerősödött a chipfóbia az emberekben, hogyan érdemes viszonyulniuk a bizalmatlanoknak a jelenséghez, illetve mennyiben etikus lépés ez?

Hogy maga a beültetés mennyire etikus, azt nem lehet megállapítani, mert ez egy technológiai kérdés. Az, hogy a beültetés után mit csinálsz, avagy miképp tárolod az adatot, na, az már inkább egy etikai dilemma. Nagyon mélyen kell ehhez érteni, hogy technológiailag mire vagyunk képesek jelenleg az adatfelhasználás terén. Így egy laikus még talán jobb is, ha tart tőle. Ha tehát nem értesz hozzá, ne ültess az agyadba semmit!

Fontos tudni azt is, hogy ki csinálja. Bízom a Neuralinkben, hogy ezeket az adatokat nem fogják etikátlan módon felhasználni, de én személy szerint inkább mennék a noninvazív agyfelmérés felé.

Óriási trend manapság az NFT-gyártás, te magad is kiadtál egyet a közelmúltban. Elmagyaráznád, mi ez pontosan?

Az én projektem könyvek megfilmesítéséről szól mesterséges intelligencia segítségével. Épp ezért az Aiónt, Carl Gustav Jung kétségkívül legbonyolultabb könyvét dolgoztam fel. 20-30 százalékát értettem meg a műnek, olyan referenciái és elméletei vannak benne, amiket nehéz kifejteni. Mivel a könyv rendkívül szimbolikus, jól átadja magát a kollektív tudattalannak; nézed a hozzá kapcsolódó videót, amit gyártottam, és láthatod, miről beszél. Meg is tudod állítani és bele tudsz pillantani, hogy pontosan milyen szimbólumokat használ. Ez egy kezdetleges megoldás, de így közelebb tudunk kerülni ehhez az érinthetetlen dologhoz, és tudatossá tudjuk tenni azt, ami eddig tudattalan volt. Ugyanilyen alapon álmokat is akarok képileg dekódolni és vizualizálni.

Vannak AI-modellek, amik láttak 400 millió netes képet és az ezekhez tartozó leírást, így képesek megtanulni a szöveget és a képeket is, más szóval tudnak oda-vissza érvelni. Ekkor már arról beszélünk, hogy a modellnek bele van vésve a számításába, hogy mi miképp írunk le egy képet. Szerintem ez összekapcsolódik azzal, hogy Jung a kollektív tudattalan úttörője volt. Mindannyiunkban benne van egyfajta értelmezése a világnak, örökölt történeteken, történelmen, DNS-en keresztül. Ezt akartam kihangsúlyozni az NFT-kkel.

Korábban azt mondtad egy beszélgetésünk során, hogy szeretnél visszatérni a szülővárosodban lévő Bródy Imre Gimnáziumba, és ott fiatalokat tanítani programozásra. Mi vezet vissza Ajkára? Hogy áll az utánpótlás helyzete?

Tanítani mindig is szerettem, egyetemen is, illetve New Yorkban volt pár középsulis tanítványom a kutatóintézetben, a nyári munka alatt. A Bródyba is élmény volt járni, kaptam egyfajta szellemi szabadságot, ami segített később kibontakozni. Aztán ebből jött az ötlet, hogy miért ne. Ha minden igaz, indítok egy órát, kreatív, számítástechnikai, adatfeldolgozással kapcsolatos csapatprojektekkel, majd éppen amit a csoport megvalósítana. Először raknék össze ilyen órát, kíváncsi vagyok hogyan sül el, ha egyszer elindul majd.

A szerző az ELTE BTK anglisztika-amerikanisztika-média szakos hallgatója.

Kapcsolódó cikkek a Qubiten:

link Forrás

link Forrás

link Forrás