Az AI sem ismeri fel az AI-t a fordított Turing-teszten
A mesterséges intelligencia (AI) képtelen megbízhatóan felismerni, ha egy másik mesterséges intelligenciával beszélget – ez derül ki az Université Paris Cité kutatóinak friss tanulmányából. A kutatók vizsgálatukban megfordították a híres Turing-tesztet: Alan Turing 1950-ben javasolt gondolatkísérletében egy embernek kell kérdések alapján eldöntenie, hogy a láthatatlan beszélgetőtársa ember-e vagy gép, most viszont a kérdező szerepét is AI töltötte be.
A kísérletben hét nagy nyelvi modell tehetett fel legfeljebb tíz kérdést egy rejtett beszélgetőtársnak, aki vagy a 20 önkéntes ember egyike, vagy egy másik AI volt. Összesen 238 teszt zajlott le, több mint 1700 kérdéssel. A nyelvi modellek között a ChatGPT, a Claude, a Gemini, a Grok, a Mistral, a DeepSeek és a Meta Llama egy-egy korábbi változata volt található, tehát ez körülbelül a 2025. tavaszi-nyári állapotnak felel meg – valószínűleg a tudományos tanulmányok befogadásának és lektorálásának hosszú ideje miatt nem naprakészebb ennél a vizsgálat.
Az eredmény viszont egyértelmű volt: abban a 49 tesztben, amelyben az AI-résztvevők csak minimális utasítást kaptak arra, hogy emberként viselkedjenek, a kérdező modellek mindössze háromszor ismerték fel, hogy géppel beszélnek. Amikor pedig az AI-résztvevők részletes utasítást kaptak arra, hogy hihető személyiséget vegyenek fel, röviden válaszoljanak, időnként vétsenek elírást, és természetesen társalogjanak, egyetlen esetben sem leplezték le őket. A valódi embereket ezzel szemben a 140 tesztből 123-ban helyesen azonosították. A kutatók szerint az AI-résztvevőket gyakrabban tartották embernek, mint a valódi embereket, és a kérdező modellek gyakorlatilag nem tudtak különbséget tenni a kétféle válasz között. Ebben szerepet játszott az is, hogy a részletes utasítást kapó modellek válaszai átlagosan 39 szavasak voltak, szinte pontosan annyira hosszúak, mint az embereké, akik átlagosan 38 szóval feleltek.
A kérdező modellek eltérő stratégiát követtek: a ChatGPT főként érzelmekről, emlékekről és kapcsolatokról kérdezett, a Claude inkább a gondolkodásra és az érvelésre összpontosított, a Mistral pedig meglepően sokat érdeklődött a hobbikról. A kutatók szerint egyik stratégia sem bizonyult hatékonynak, és arra jutottak, hogy a mesterséges intelligenciára épülő szűrés jelenleg (még egyszer: a több mint egyéves állapot szerint) nem alkalmas annak bizonyítására, hogy valóban emberrel beszélgetünk. Ez gyakorlati kérdés is, hiszen az online csalásokat, álprofilokat és automatizált dezinformációs kampányokat egyre nehezebb felismerni.
Korábban hasonló eredményre jutottak magyar kutatók is: a Budapesti Corvinus Egyetem kutatói, Hajnal Zsófia, Manran Zhu és Vásárhelyi Orsolya szintén fordított Turing-teszttel vizsgálták, felismerik-e a chatbotok a gépeket. Hajnal Zsófia a Qubit podcastjában arról beszélt, hogy a problémák elkerüléséhez a mesterséges intelligenciának jobbnak kell lennie annak felismerésében, hogy emberrel vagy géppel beszélget-e, mint abban, hogy embernek tettesse magát.
Kapcsolódó podcastunk:
A legfejlettebb AI is megbukott a fordított Turing-teszten: nem tudja eldönteni, hogy emberrel vagy géppel beszél
A ChatGPT átmegy ugyan a Turing-teszten, de mire megy vele, ha azt sem tudja, kivel beszél? Hajnal Zsófia, a Corvinus doktorandusza és kollégái elvégezték a fordított Turing-tesztet, és feltárták, hogy milyen kockázatokat rejt a hiányos tudású AI-rendszerek terjedése.