Angliában jobban bíznak az emberek a ChatGPT-ben, mint az ügyvédekben
Azok az emberek, akik nem jogi szakértők, szívesebben támaszkodnak a ChatGPT jogi tanácsaira, mint a valódi ügyvédekére, legalábbis akkor, ha nem tudják, hogy a kettő közül melyik adta a tanácsot – számoltak be a Conversation hasábjain frissen publikált eredményeikről a University of Southampton kutatói.
A 288 önkéntes bevonásával végzett kísérletsorozatuk tanulságai szerint amikor az alanyok nem tudták, hogy kérdésükre ügyvéd vagy a nagy nyelvi modell (LLM) válaszolt-e, akkor hajlamosabbak voltak a mesterséges intelligencia által generált tanácsot validnak elfogadni. A kutatók szerint ez azt jelenti, hogy ha egy LLM jogi tanácsot ad anélkül, hogy felfedné annak jellegét, az emberek tényként vehetik azt, és előnyben részesíthetik a jogászok szakértői tanácsával szemben, anélkül, hogy megkérdőjeleznék annak érvényességét, pontosságát.
Amikor a kutatók megmondták, hogy melyik tanács származik ügyvédtől és melyik a ChatGPT-től, az alanyok akkor is inkább a mesterséges intelligencia válaszát fogadták el inkább. Feltehetően azért, mert az LLM-ek bonyolultabb nyelvezet használnak, szemben a valódi jogászokkal, akik – legalábbis a kísérletben – hajlamosabbak voltak több szóval, de egyszerűbb nyelvi fordulatokkal kifejteni a válaszukban taglalt témát, jogesetet.
A harmadik kísérlet azt vizsgálta, hogy a résztvevők képesek-e különbséget tenni az LLM és az ügyvédek által generált tartalom között. A kutatók szerint a jó hír az, hogy igen, de csekély különbséggel. „Míg a véletlenszerű találgatás 0,5 pontot eredményezett volna, a tökéletes megkülönböztetés pedig 1,0 pontot, addig résztvevők átlagosan 0,59 pontot értek el, ami a véletlenszerű találgatásnál valamivel jobb, de még mindig viszonylag gyenge teljesítményt jelez” írják a kutatók, akik ugyanakkor mindenképp felhívják a figyelmet, hogy a nagy nyelvi modellekről, így a ChatGPT-ről is köztudott, hogy úgynevezett „hallucinációkat” hoznak létre – azaz gyakran pontatlan, vagy teljesen értelmetlen tartalmat is létre tudnak hozni. Ezért is kockázatos, ha a felhasználók túlságosan megbíznak bennük, különösen az olyan nagy téttel bíró területeken, mint a jog. Mint írják, az „LLM-ek magabiztosnak tűnő válaszai megnehezíti, hogy megkülönböztessük a jó tanácsokat a határozott állításokba csomagolt hamisaktól”.
Kapcsolódó cikkek a Qubiten: