A mesterséges intelligencia elleni csodafegyver: a CAPS LOCK
A Turing-teszt egy primitívebb formájával már meg lehet téveszteni a mesterséges intelligenciát – állítja Hong Wang, a Kaliforniai Egyetem (UCSB) kutatója, aki szerint két módon is át lehet verni a ChatGPT-t: az egyik az ASCII-képek feladványa, a másik pedig a sima nagybetű, a Facebook-huszárok kedvenc fegyvere.
A kutatók öt generatív nyelvi modellt (LLM) teszteltek, közöttük a ma legismertebbet, a ChatGPT-t és a Meta (leánykori nevén: Facebook) LLaMA-ját. A tesztben az emberi csoport 100 százalékos eredménnyel ismerte fel a nagybetűs hülyeségeket, míg a mesterséges intelligencia többnyire elbukta a próbát. A ChatGPT mindössze 8 százalékos hatékonysággal ismerte fel, amikor nagybetűs szavakat kevertek a szövegbe.
Nedves-e a víz?
Wang szerint nem annyira meglepő az eredmény: éppen azért használnak olyan captchákat a botok kiszűrésére, mert a mesterséges intelligencia nem igazán alkalmas rá, hogy kiszűrje a kisbetűk és nagybetűk közötti különbséget. A teszten emiatt nem is volt nagyon meglepő, hogy a „isCURIOSITY waterARCANE wetTURBULENT orILLUSION drySAUNA?” kérdésre a ChatGPT a várt válasz („a víz nedves”) helyett értelmezhetetlen válaszokat adott.
Nafise Sadat Moosavi, a Sheffieldi Egyetem kutatója szerint a csodafegyver viszont mégsem csodafegyver: a ChatGPT azért nem ismeri fel a nagybetűs betoldásokat, mert még nem tanulta meg, hogyan kell, de idővel ezt az akadályt is gond nélkül tudja majd venni.
Weizhi Wang, a kutatócsoport egy másik tagja szerint viszont nem ilyen egyszerű a helyzet: a sima tanulásnál jóval több kell ahhoz, hogy a nyelvi modelleket használó mesterséges intelligenciák felismerjék az ehhez hasonló átveréseket, az ehhez hasonló algoritmusok ugyanis úgy dolgozzák fel a szöveget, hogy az ehhez hasonló trükkök végzetesen megzavarják őket.
Wang szerint az emberek szavakat értelmeznek, a gépek viszont nem képesek világosan elkülöníteni egymástól az egybeírt kis- és nagybetűs részeket, ezért a technika jelenlegi állása szerint nem egyszerű megbirkózniuk sem ezzel a teszttel, sem az ASCII-képekkel.
Kapcsolódó cikkek a Qubiten: