Egymást érik a világ bíróságain a ChatGPT hallucinációi, és ebből egyszer még nagy baj lehet

augusztus 21.
TECH
  • Link másolása
  • Facebook
  • X (Twitter)
  • Tumblr
  • LinkedIn

A mesterséges intelligencia olyan eszköz, mint egy láncfűrész: hasznos, de potenciálisan veszélyes is – foglalta össze Mark Dinsmore amerikai bíró annak az eddig napvilágra került néhány száz ügynek a tanulságát, ahol egyes jogászok a ChatGPT-vel vagy más nagy nyelvi modellel próbálták elvégeztetni a munkájuk egy részét, és lebuktak.

A probléma nem azzal van, hogy jogászként megpróbáltak kiskapukat keresni, hanem azzal, hogy a mesterséges intelligenciát (AI) eszköz helyett forrásként kezelték, méghozzá kritika nélkül – emiatt történhetett meg az is, hogy a legutóbbi ilyen jellegű botrány során Ausztráliában egy gyilkossági ügy tárgyalásán az ügyvéd beadványában olyan korábbi ítéletekre hivatkozott, amelyek soha nem történtek meg, csak a közelebbről meg nem határozott nagy nyelvi modell hallucinálta őket.

A nem létező ügyek mellett az AI még néhány idézetet is hallucinált a biztonság kedvéért, ezekről Risi Nathwani, a hibát elkövető védőügyvéd azt mondta, hogy néhányat ellenőrzött belőlük, és mivel azok stimmeltek, megbízott a többi hitelességében is. Rosszul tette, el is ismerte a hibát, az eset kiderült, az ítélet pedig végül nem ezen múlt (a kiskorú vádlottat az elmeállapotára hivatkozva nem találták bűnösnek emberölés vádjában).

Egyre több eset

Mondhatnánk, hogy nincs itt semmi látnivaló, de van: az elmúlt években egyre többször fordult elő, hogy a jogászok a mesterséges intelligenciát hívták segítségül az iratok összeállításához, ezek közül pedig legalább 299 esetben le is buktak. Az eseteket Damien Charlotin francia adattudós gyűjtötte össze (a teljesség igénye nélkül), az esetek többségében a turpisság a hiányzó vagy hamis hivatkozások miatt derült ki. A legtöbbször ügyvédek buktak le, de négy bíróról és három szakértőről is kiderült, hogy nem ellenőrizték elég alaposan, amit kidobott nekik a gép.

A probléma világméretű, Ausztráliától Izraelen át Spanyolországig mindenhol előfordult már hasonló visszaélés – és ezek csak azok, ahol kiderült, hogy valaki nem volt elég alapos. A reakciókból jól látszik, hogy a bíróságok sem tudták még eldönteni, hogy mit lehet kezdeni a mesterséges intelligenciával: voltak olyan esetek, amikor az elkövetőt csak figyelmeztették, máskor egyetlen dolláros büntetést szabtak ki, megintcsak máskor, egy amerikai esetben pedig 5000 dollárt kellett kifizetnie a vétkes ügyvédnek. Nagy-Britanniában egy hasonló hibáért elméletileg életfogytig járó börtön is járhat, de ehhez elég speciális körülmények szükségesek – Victoria Sharp, a brit Legfelsőbb Bíróság egykori elnöke szerint viszont ezek a körülmények könnyen előállhatnak, ha a jogászok ész nélkül használják a mesterséges intelligenciát, és hiteles információként adják tovább a nagy nyelvi modellek hallucinációit.

Nem tiltani, tanulni kell

Bár Sharp elég szigorú nézeteket képvisel, Charlotin Dinsmore bíróhoz hasonlóan inkább amellett érvel, hogy ha már nem lehet visszalapátolni a szart a lóba, inkább meg kell tanulni jól használni a nyelvi modelleket, amivel a jog és a jogászok munkája is megváltozik majd, de az adattudós szerint inkább pozitív irányba, mint negatívba. Charlotin szerint a nagy nyelvi modellek már velünk vannak, és a joghoz hasonlóan, mint a nevük is mutatja, a nyelvvel foglalkoznak, így szinte elkerülhetetlen, hogy a jog területén is használatba vegyék őket. Az adattudós kurzust is tart jogászoknak, ahol elmagyarázza, hogy hogyan kell értelmezni a kapott eredményeket, milyen határai vannak a jelenlegi technológiának, hogyan kell promptolni a modelleket, és mire kell gyanakodni, ha megszülettek a kész eredmények. Ezzel már legalább az elkerülhető lenne, amire az egyik említett angol esetben hivatkozott az ügyvéd: csak rákeresett valamire, és nem tudta, hogy a Google Geminije nem feltétlenül mond igazat az első találati helyen.

Már csak azért is érdemes ezzel foglalkozni, mert Charlotin listája, bár csak 299 elemből áll, korántsem teljes, és egyre gyorsabban bővül: az itt felsorolt esetek kétharmada az elmúlt fél év alatt történt, ami jól jelzi, hogy merrefelé halad a világ. 2023-ban, az első hallucinációk felbukkanásakor a bíróságon sokan még azt hitték, hogy a rossz sajtó miatt az ügyvédek óvatosabban nyúlnak majd a nagy nyelvi modellekhez, de ez nem így történt: nemcsak kishalak, hanem nagy tekintélynek örvendő, komoly cégeknél dolgozó ügyvédek is belesétáltak az AI csapdájába.

Meggyőzőbb, mint az ember

Maura Grossman, a kanadai Waterloo-i Egyetem kutatóprofesszora szerint ez nem véletlen: a mesterséges intelligencia mostanra már olyan meggyőzően képes fogalmazni, hogy az ember – akár jogász, akár nem – hajlamos elhinni neki, amit mond. A jogi bikkfanyelvben pedig még jobb, mint a hétköznapiban: egy áprilisi kutatás szerint a felhasználók nagy része hitelesebbnek tartja a ChatGPT porhintését, mint egy valódi jogász által írott szöveget (ez mondjuk lehet, hogy legalább ugyanannyit árul el az ügyvédekről, mint a felhasználókról).

A hallucinációktól teljesen nem lehet megszabadulni, és úgy tűnik, hogy a ChatGPT-t és társait sem lehet kiszorítani már a bíróságokról – ahogyan az osztálytermekből és a munkahelyekről sem. Grossman és Charlotin ugyanazt a megoldást javasolja a problémára: az egészséges szkepticizmust, ami, úgy tűnik, nemcsak a hétköznapi felhasználókból hiányzik, hanem a különben híresen gyanakvó jogászokból is, akik, ahogy a kanadai kutató is megjegyzi, egy ügyvédbojtár munkáját többször is leellenőrzik, az AI eredményeit pedig eszükbe sem jut kétségbe vonni. A szkepticizmus mellett persze még több befektetett munkára is szükség van: le kell ellenőrizni a forrásokat, akkor is, ha elsőre meggyőzőnek tűnnek, és ahogy a cikk elején idézett bíró is mondta, sosem szabad elfelejteni, hogy a mesterséges intelligencia csak egy eszköz – és így is kell kezelni. Végül is senki sem kérne jogi tanácsot egy láncfűrésztől.