Chip beültetése nélkül fordítja az agyi jeleket írott szavakra a Meta új módszere
A többek között mozgásképtelen betegek kommunikációját segítő agy-számítógép interfészek eddigi legjobban működő változatai (ilyen például az Elon Musk-féle Neuralink) idegsebészeti beavatkozást igényelnek: az érzékelőket a koponya felnyitása után az agy felszínére vagy annak belsejébe kell ültetni. A Meta mesterséges intelligenciával foglalkozó kutatói a párizsi Université PSL és az Adolphe de Rothschild Alapítvány Kórházának munkatársaival most egy olyan módszert mutattak be, amely műtét nélkül fordítja szöveggé az agyi aktivitást.
A Brain2Qwerty nevű rendszer két, a fejen kívülről mérő eljárásra épül: az EEG (elektroenkefalográfia) a fejbőrre helyezett érzékelőkkel az agy elektromos tevékenységét méri, a MEG (magnetoenkefalográfia) pedig egy rendkívül érzékeny szenzorokkal teli sisakkal az aktív idegsejtek keltette parányi mágneses tereket észleli.
A kísérletben 35, ismert idegrendszeri vagy pszichiátriai betegséggel nem rendelkező önkéntes vett részt. A résztvevőknek előbb meg kellett jegyezniük egy-egy mondatot, majd egy hagyományos QWERTY billentyűzeten legépelni, miközben a kutatók rögzítették az agyi tevékenységüket. A mélytanuló algoritmust ezután külön tanították be az EEG- és a MEG-felvételeken arra, hogy pusztán az agyi jelekből megjósolja, melyik betűt üti le éppen a kísérleti alany. A modell három egységből áll: egy konvolúciós modul dolgozza fel az agyi jelek fél másodperces szakaszait, egy mondatszinten betanított transzformer értelmezi ezeket, végül egy előre betanított nyelvi modell javítja ki a kimenetet.
Az eredmények szerint a MEG-felvételekből lényegesen pontosabb a fordítás: a betűszintű hibaarány átlagosan 29 százalék volt, szemben az EEG 65 százalékával. A legjobban teljesítő résztvevőknél a hibaarány 18 százalékra csökkent, és a rendszer hibátlanul megfejtett olyan mondatokat is, amelyek nem szerepeltek a tanítóanyagban. A szerzők szerint ezek az eredmények szűkítik a szakadékot a műtétet igénylő és a nem invazív megoldások között, és utat nyitnak a beszédképtelen betegek számára biztonságos agy-számítógép interfészek felé. Hosszabb távon a módszer nemcsak írott szöveg előállítására, hanem protézisek és más segédeszközök vezérlésére is alkalmassá válhat – egyelőre azonban egy egészséges önkéntesekkel végzett, korai eredményről van szó.
Kapcsolódó cikkek:
Dekódolja a belső monológokat a Stanford kutatóinak új agy-számítógép interfésze
A fejlesztői szándék szerint az új technológia a súlyos beszédkárosodással élők kommunikációját segíti.
Új megközelítéssel készítették el az eddigi legpontosabb gondolatolvasó készüléket
A tudósok előtt is rejtély, hogyan dolgozza fel az agy a belső beszédet, de a Caltech kutatói egy eddig kevésbé vizsgált agyi területre összpontosítva értek el áttörést a ki nem mondott szavak észlelésében.
