Azok az emberek, akik nem jogi szakértők, szívesebben támaszkodnak a ChatGPT jogi tanácsaira, mint a valódi ügyvédekére, legalábbis akkor, ha nem tudják, hogy a kettő közül melyik adta a tanácsot – számoltak be a Conversation hasábjain frissen publikált eredményeikről a University of Southampton kutatói.

A 288 önkéntes bevonásával végzett kísérletsorozatuk tanulságai szerint amikor az alanyok nem tudták, hogy kérdésükre ügyvéd vagy a nagy nyelvi modell (LLM) válaszolt-e, akkor hajlamosabbak voltak a mesterséges intelligencia által generált tanácsot validnak elfogadni. A kutatók szerint ez azt jelenti, hogy ha egy LLM jogi tanácsot ad anélkül, hogy felfedné annak jellegét, az emberek tényként vehetik azt, és előnyben részesíthetik a jogászok szakértői tanácsával szemben, anélkül, hogy megkérdőjeleznék annak érvényességét, pontosságát.

Amikor a kutatók megmondták, hogy melyik tanács származik ügyvédtől és melyik a ChatGPT-től, az alanyok akkor is inkább a mesterséges intelligencia válaszát fogadták el inkább. Feltehetően azért, mert az LLM-ek bonyolultabb nyelvezet használnak, szemben a valódi jogászokkal, akik – legalábbis a kísérletben – hajlamosabbak voltak több szóval, de egyszerűbb nyelvi fordulatokkal kifejteni a válaszukban taglalt témát, jogesetet.

A harmadik kísérlet azt vizsgálta, hogy a résztvevők képesek-e különbséget tenni az LLM és az ügyvédek által generált tartalom között. A kutatók szerint a jó hír az, hogy igen, de csekély különbséggel. „Míg a véletlenszerű találgatás 0,5 pontot eredményezett volna, a tökéletes megkülönböztetés pedig 1,0 pontot, addig résztvevők átlagosan 0,59 pontot értek el, ami a véletlenszerű találgatásnál valamivel jobb, de még mindig viszonylag gyenge teljesítményt jelez” írják a kutatók, akik ugyanakkor mindenképp felhívják a figyelmet, hogy a nagy nyelvi modellekről, így a ChatGPT-ről is köztudott, hogy úgynevezett „hallucinációkat” hoznak létre – azaz gyakran pontatlan, vagy teljesen értelmetlen tartalmat is létre tudnak hozni. Ezért is kockázatos, ha a felhasználók túlságosan megbíznak bennük, különösen az olyan nagy téttel bíró területeken, mint a jog. Mint írják, az „LLM-ek magabiztosnak tűnő válaszai megnehezíti, hogy megkülönböztessük a jó tanácsokat a határozott állításokba csomagolt hamisaktól”.

Kapcsolódó cikkek a Qubiten:

Donald Trump egy olyan formulára alapozta a globális vámháborúját, amit a népszerű chatbotok is javasolnak

Tóth András gazdaság április 4.

Donald Trump amerikai elnök szerdán globális vámháborút indított, köztük egy csak pingvinek által lakott sziget ellen. Közösségi média felhasználóknak rögtön gyanús lett, hogy a vámok indoklásában szereplő formula a chatbotok által megadottra emlékeztet.

Kiderült, melyik chatbotokat és más generatív AI-eszközöket használják a legtöbben, a Prezi is rajta van a listán

Steffi Graph TECH 2024. október 25.

A Világbank kutatása szerint rá vagyunk csavarodva a szöveggenerátorokra, de a kép- és videókészítő platformoknál már nem fut annyira a szekér.

A ChatGPT csökkenti a nyelvi sokszínűséget, és ezzel rengeteg kárt okozhat

Radó Nóra TECH március 4.

A nagy nyelvi modellek használata uniformizálja a nyelvet és eltünteti az egyéni hangokat, ami negatív hatással lehet a nyelvi örökség, a kulturális gazdagság megőrzésére, állítja egy amerikai kutatócsoport.