Teljes mondatokra fordítja egy beszédképtelen sztrókos férfi agyi jeleit egy forradalmi új módszer
Egy elképesztő találmány lehetővé tette egy súlyosan bénult ember számára, hogy újra mondatokban kommunikáljon: a Kaliforniai Egyetem (San Francisco) kutatói által kifejlesztett „beszéd-neuroprotézis” a férfi agyi jeleit fordítja le szavakká, majd az így nyert, teljes mondatokból álló szöveg egy képernyőn jelenik meg.
Az eszköz elsősorban Edward Chang idegsebész professzor, a Kaliforniai Egyetem munkatársának több mint egy évtizedes kutatásain alapul. Chang ennyi ideje igyekszik kidolgozni egy olyan technológia alapjait, amely lehetővé teszi a beszédre képtelen bénultak kommunikációját, még ha ők maguk nem is képesek megszólalni. Az áttörő eredményeket július 15-én publikálták a rangos New England Journal of Medicine folyóiratban.
Évről évre több ezer ember veszíti el beszédképességét balesetek, sztrók vagy egyéb betegségek következtében. A kaliforniai kutatók által kidolgozott eljárás továbbfejlesztésével egy nap talán ezek az emberek is újra képesek lesznek a zökkenőmentes kommunikációra.
A kutatók ismeretei szerint ugyanis ez az első sikeres kísérlet arra, hogy egy beszédre képtelen, mozgássérült páciens agyi aktivitását kódolják teljes szavakká. Chang, a tanulmány rangidős szerzője szerint a kutatás arra utal, hogy lehetséges a kommunikációs képességek helyreállítása az agy természetes beszédmechanizmusainak letapogatásával.
Gépelés helyett a szavak formálása
A kommunikációs idegrendszeri protézisek területén korábban kidolgozott eljárások a betűzésen keresztül igyekeztek helyreállítani a kommunikációt. Chang és kutatótársai azonban máshonnan közelítettek: ahelyett, hogy a kar és a kéz mozgásáért felelős agyi jeleket fordították volna le, hogy lehetővé tegyék az aggyal gépelést, ők a beszédképző rendszert mozgató izmokat irányító jeleket igyekeztek dekódolni. Chang szerint ez a megközelítés a beszéd természetes és folyékony aspektusait is képes megragadni, ezáltal gyorsabb és a természeteshez közelibb kommunikációt ígér.
„A beszéd igen nagy hatásfokú kommunikáció, 150-200 szó is elhangozhat percenként”, míg a gépelésalapú megoldások sokkal lassabbak és munkaigényesebbek. „Ha egyből a szavakhoz nyúlunk, annak az az óriási előnye, hogy sokkal közelebb kerülünk a természetes beszédhez.”
Az elmúlt tíz évben Chang kutatásait a San Franciscó-i Kaliforniai Egyetem epilepsziaközpontjának páciensei segítették. Idegsebészeti műtéteken pontosan megjelölték az agyuk felületén azokat a területeket, ahonnan a görcsrohamaik eredtek. Ezek a normál beszédű paciensek hozzájárultak, hogy agyi felvételeiken a kutatók elemezzék a beszéddel összefüggő aktivitást. Az így elért korai eredmények tették lehetővé a mostani kísérlet sikeres lefolytatását, immár egy mozgássérült páciensen.
Chan és kollégái korábban részletesen feltérképezték a beszédképző szervek mozgatásával járó agykérgi aktivitási mintázatokat minden egyes mással- és magánhangzó képzésére. Ekkor lépett a képbe David Moses mérnök posztdoktor, a friss tanulmány egyik vezető szerzője, aki kollégáival új modszereket dolgozott ki e mintázatok valós idejű dekódolására, és statisztikai nyelvi modelleket készített, hogy az eszköz minél pontosabb találatokat adjon.
Itt még „csak” a beszédre képes résztvevők kommunikációjának dekódolásánál tartották, és egyáltalán semmi sem garantálta, hogy a technológia egy olyan páciensnél is meghozná a várt eredményt, akinek a beszédképző szervei működésképtelenek. Mint Moses elmondta, be kellett tanítaniuk a modelleiknek a komplex agyi aktivitási mintázatok és a szándékos beszéd térképeit, ami óriási kihívás, ha a kísérlet résztvevője beszédképtelen.
Emellett a kutatócsoport azzal sem volt tisztában, hogy a beszédképző szerveket irányító agyi jelek vajon ugyanolyanok-e azoknál a beszédképtelen pácienseknél, akik már akár évek óta nem tudták használni a beszédhez szükséges izmaikat. Ennek eldöntésére az volt a legjobb módszer, ha kipróbálják a találmányt – mondta Moses.
Az első ötven szó
A beszédképtelen betegekkel elérhető eredmények vizsgálatára a kutatók Karunesh Ganguly neurológus docens kollégájukkal fogtak össze. BRAVO (Brain-Computer Interface Restoration of Arm and Vocie) nevű kísérletsorozatuk első résztvevője egy harmincas évei végén járó férfi volt, akinél egy több mint 15 éve bekövetkezett agytörzsi sztrók súlyosan károsította az összeköttetést az agy és a hangképző szervek, illetve az agy és a végtagok között. Az agyi esemény óta a férfi csak nagyon korlátozottan volt képes megmoccantani a fejét, a nyakát és a végtagjait, és a baseballsapkájához rögzített mutatópálcával egy képernyőn látható betűkre bökve kommunikált.
A BRAVO1 nevű pácienssel közösen a kutatók létrehoztak egy ötven szóból álló készletet, amelynek darabjait az általuk fejlesztett algoritmusok képesek voltak az agyi aktivitási mintázatokból kiolvasni. Ez a szótár – benne olyan alapvető szavakkal, mint a víz, a család vagy a jó – már alkalmas volt rá, hogy segítségével több száz olyan mondat álljon össze, amelyek képesek kifejezni BRAVO1 mindennapi életének különböző aspektusait.
A kísérlethez Chang műtéti úton implantált egy nagy sűrűségű elektródasort a beteg agykérgének azon területére, amely a beszéd motoros összetevőiért felel. A beteg felépülése után a kutatócsoport több havi munkával 22 órányi felvételt készített az adott agyi terület idegi aktivitásáról. A felvétel készítésének minden egyes etapjánál BRAVO1 igyekezett többször is kimondani a szótár ötven szavát, miközben az elektródák buzgón rögzítették a beszédért felelős agykérgi területen záporozó jeleket.
Hogyan lesz a beszéd szándékából szöveg?
De hogyan lesz a beszédszándék neurális aktivitásának felvételeiből olvasható szöveg? A két másik vezető szerző, Sean Metzger és Jessie Liu – mindketten doktorandusz biomérnökök Chang szárnyai alatt – ehhez mesterséges intelligenciát, pontosabban egyedi neurális hálózati modelleket használtak. Amikor BRAVO1 megpróbált beszélni, a hálózatok finom mintázatokat különítettek el az agyi aktivitásban, hogy azonosítsák a beszédre tett kísérleteket, sőt magukat a szavakat is, amelyeket a páciens igyekezett kimondani.
A módszer tesztelésére BRAVO1-gyel az ötven szavas szótárból összerakott rövid mondatokat ismételtettek. Amint ő megpróbálta kimondani ezeket, a szavakat egyenként dekódolták az agyi jeleiből, és az eredményt egy képernyőn jelenítették meg. A következő lépésben olyan egyszerű kérdéseket tettek fel neki, hogy hogy érzi magát, illetve kér-e vizet – és a képernyőn ebben az esetben is megjelentek a megfelelő válaszok: „nagyon jól vagyok”, illetve, „nem, nem vagyok szomjas”.
A rendszer percenként 18 szót volt képes azonosítani akár 93 százalékos hatékonysággal (a mediánérték 75 százalék volt). A sikerhez hozzájárult, hogy Moses beiktatott egy olyan nyelvi modellt is, amelyet az automatikus javításhoz hasonló funkcióval láttak el, akárcsak a szöveges üzenetküldő szolgáltatásokat vagy a beszédfelismerő szoftvereket.
További távlatok
Moses a módszer működőképességének bizonyítékát látja a korai kísérleti eredményekben. Mint mondta, nagy örömmel látták, hogy számos értelmes mondat pontosan dekódolható. „Megmutattuk, hogy valóban lehetséges ezzel a módszerrel megkönnyíteni a kommunikációt, és hogy megvan a lehetőség a módszer alkalmazására normál beszédhelyzetekben is.”
A következő lépésben Chang és Moses arra készül, hogy több bénult és kommunikációra csak korlátozottan képes alanyt is bevonjon a kísérletekbe. A csapat jelenleg azon van, hogy több szóval egészítse ki a szótárat, illetve javítson az elérhető beszédtempón.
Mindketten úgy vélik, hogy bár csak egyetlen résztvevővel és korlátozott szókészleten sikerült demonstrálni a módszert, ez semmit sem von le a kutatás forradalmi jelentőségéből: szerintük technológiai mérföldkő, amit a kutatócsoport most a természetes kommunikációra nem képes személyek életminőségének javításában elért.
Kapcsolódó cikkek a Qubiten: