Tudományos áttörés: először sikerült agyi jelekből mesterséges beszédet formálni
Elképzelhető, hogy hamarosan egyenesen az agyunkból küldhetjük az üzeneteket a gépelés fáradságos munkája nélkül, miután egy San Franciscó-i kutatócsoportnak először sikerült agyhullámokat beszéddé alakítania.
Miközben az ember beszél, nem kell kifejezetten parancsokat adnia, az agy elvégzi helyette a munkát. A kutatók letapogatták azokat a jeleket, amelyeket az agy beszéd közben küld a beszédszerveknek – az ajkaknak, a nyelvnek, az állkapocsnak, a gégének stb. – és létrehoztak egy olyan eszközt, amely képes ennek alapján teljes szószerkezeteket kiköpni. Hogy milyeneket? Olyanokat például, mint „ne mosogasd el Charlie piszkos edényeit”, vagy „a fontos berendezések megfelelő karbantartást igényelnek”.
A kísérletben öt epilepsziában szenvedő személy agyhullámait rögzítették, miközben ők egy 100 kifejezést tartalmazó listából mondtak fel szövegeket (és éppen agyműtétet végeztek rajtuk).
A jeleket egy olyan számítógépbe táplálták, amely az emberi beszédrendszert modellezi, és az eredmény: félig érthető szintetikus beszéd. Ahogy az alábbi mintából is kiderül, a gép egyelőre egy nyugtatóra ráivó személy kásás beszédét produkálja, de a kutatók így is elmondhatják, hogy történelmet írtak.
A sample of speech generated by decoding a patient's brain signals.
A gépi beszédet a Mechanical Turk nevű crowdsourcing oldalon jelentkezőkkel teszteltették, akik a hallott szöveget 50-70 százalékban voltak képesek megérteni, igaz, hogy a lehetséges értelmezéseket megadott szavak közül választhatták ki.
Koponyába fúrt lyukon át vezet az út
A technológia nem képes az absztrakt gondolatok megragadására, ehelyett arra figyel, mit üzennek a neuronok, miközben a beszédszerveket mozgásra bíró parancsokat közvetítik. Kutatók korábban robotkarok irányítására használtak hasonló motorikus jeleket az agy más részeiből. „Az agynak olyan részeit tapogatjuk le, amelyek ezeket a beszédmozgásokat irányítják, tehát a mozgásokat igyekszünk dekódolni ahelyett, hogy közvetlenül a beszédet próbálnánk” – magyarázta a kutatócsoport vezetője, Edward Chang, a Kaliforniai Egyetem (San Francisco, UCSF) idegsebésze.
A jeleket egy elektrokortikográfiának (ECoG vagy ECG) nevezett invazív eljárással rögzítették, amelyet egyébként is gyakran használnak epilepsziás betegeknél a góc pontos beazonosítására. Ilyenkor a koponyán át fúrt lyukakon keresztül az elektródákat közvetlenül az agykéreg felszínén (más esetekben az agy szövetében) helyezik el.
Andrew Schwartz, a Pittsburghi Egyetem agy-komputer interface-ekkel foglalkozó kutatója szerint „ez valószínűleg az eddigi legkiválóbb munka, amit ezen a területen elvégeztek”. Hozzátette, hogy még pontosabb eredmények születhettek volna, ha a kutatók szondákat mélyeszthettek volna az agy szövetébe, és nem csak a felszínen tapogatnak jelek után.
Korábban is sikerült már kutatóknak agyi jelekből újraalkotni szavakat, illetve szavak hangzását. Idén januárban például a Columbia Egyetem kutatói az agy hallásért felelős területein mérték a jeleket, miközben a kísérleti alanyok hallgatták, amint valaki 0-tól 9-ig sorolja a számokat. A jelek alapján aztán a kutatók képesek voltak meghatározni, milyen számot hallott éppen a kísérlet résztvevője.
A San Franciscó-i eredményekkel a tudomány egy lépéssel közelebb került ahhoz, hogy bénult beszédszervű emberek is képesek legyenek a beszédre, bár ehhez egyelőre az agy-komputer interface-ek sem elég fejlettnek, sem elég egyszerűnek nem mondhatók. Tavaly ugyancsak a UCSF-en toboroztak amiotrófiás laterálszklerózisban (ALS) szenvedő alanyokat egy kísérleti eljáráshoz, amelynek során ECoG implantátumokat helyeznek el az agyban, és megpróbálják ezáltal szintetizálni a beszédjüket.
A sikeres beszédszintetizálás nemcsak az orvoslásban, hanem a kommunikációs technológiában is új utakat nyithat: egy nap talán arra is sor kerülhet, hogy közvetlenül az agyunkból küldjünk üzeneteket – ha akarjuk.
Kapcsolódó cikkek a Qubiten:
Amikor az ember úgy beszél, mint az állat
A mindennapi beszélgetésekben átlagosan alig két tizedmásodperc telik el, amíg a résztvevők szóban is reagálnak a másikra, mégsem vágnak egymás szavába. A jelenséget az állatoknál is megfigyelték. A kommunikációs mechanizmust a téma egyik magyar kutatója, Magyari Lilla tárja fel.
Gondolatátvitellel irányították a patkányokat a kínai kutatók
A korábbi technológiákkal mindeddig legfeljebb arra sikerült egy patkányt rávenni, hogy megcsóválja a farkát, de most emberi gondolatokkal vezették ki őket egy labirintusból.
Magyar kutatók elsőként publikálták, hogy működhet igazából az emberi agy idegsejthálózata
Minden eddiginél pontosabban képet alkotott az ELTE Bioinformatikai Kutatócsoportja az agyi neuronok nyúlványaiból álló hálózatról, az agygráfról.