„Ágyúval lő macska”: megírattuk a magyar középiskolai felvételit a ChatGPT-vel

Ma zajlanak a középiskolai felvételik, ahol a diákok magyarból és matematikából írnak tesztet, mi pedig ennek alkalmából kipróbáltuk, hogy felvennék-e a világot jelenleg legjobban érdeklő chatbotot egy magyar középiskolába.

Az amerikai OpenAI kutatólaboratórium által tavaly novemberben bemutatott ChatGPT-nek azt a feladatot adtuk, hogy oldja meg a 2022-es 8. osztályosoknak szóló középiskolai felvételi feladatsorait, természetesen magyar nyelven. A mesterséges intelligencia nem teljesített kimondottan jól: magyarból 20 pontot szerzett a lehetséges 50-ből, matematikából 12-t, szintén 50-ből, ami azt jelenti, hogy nem érte el a humán felvételizők tavalyi, egyébként 7 év után legjobb átlagpontszámát, ami a magyar feladatsor esetében 30,01 pont volt, matematikából pedig 22,66 pont.

A teljes képhez hozzátartozik, hogy a ChatGPT jellemzően azoknál a feladatoknál akadt el, ahol képeket, táblázatokat vagy grafikonokat kellett volna értelmeznie, vagy sorrendeket, elrendezéseket megállapítania. A többi feladatban viszont meglepően ügyes volt, még úgy is, hogy nem kimondottan magyar szövegeken tanították be a nyelvi modelljét. (Az, hogy a magyarral az angolhoz képest egyelőre meggyűlik a baja, abból is gyanítható, hogy az amerikai orvosi szakvizsgán viszont meglepően jó eredményt ért el.)

A magyar nyelvi felvételiben születtek kimondottan vicces megfejtések

Nézzük a tavalyi magyar felvételi feladatait! Először a kérdések olvashatók, azután a ChatGPT által adott válaszok, amiket a hivatalos javítási-értékelési útmutató alapján pontoztunk.

photo_camera Legalább az utolsót eltalálta. Fotó: Kun Zsuzsi / Qubit

Az első feladatnál kapásból nem sikerült betartani az egybetűs keretet. Erre viszont nem jár pont, mert a megoldókulcs szerint egész feladat együtt érne 1 pontot, ha mindhárom megoldás helyes.

photo_camera Küzdöttünk a csetben, de nem sikerült felkérni arra, hogy megoldja a feladatot. De azért írt nekünk néhány mondatot. Fotó: Kun Zsuzsi / Qubit

Egyébként a „Juli kikerekedett szemekkel nézte a felé nyújtott dobozt." mondatot következetesen problémás, inadekvát jelentésűnek minősítette, lehetetlen volt tehát rábírni arra, hogy tulajdonságot társítson hozzá.

photo_camera Itt valószínűleg az sem volt neki egyértelmű, hogy melyik mondatra kellene írnia. Fotó: Kun Zsuzsi / Qubit

4 pontot szerezhetett volna, helyette viszont szórakoztató megoldásokat tálalt a 3. feladatban.

photo_camera Úgy néz ki, tippelésben elég rosszul teljesít. Fotó: Kun Zsuzsi / Qubit

A 4. feladatban egyedül a 4-es pontot találta el, azonban a javítókulcs szerint akkor kaphatna 1 pontot, ha minimum 2 helyes megoldást adott volna.

photo_camera Pedig van: a B-hez a 4-es verscím tartozik. Fotó: Kun Zsuzsi / Qubit

A ChatGPT itt nem ért egyet a javítókulccsal. Viszont ez azt is jelenti, hogy pontot sem szerzett a feladatban.

photo_camera Az 5. feladat B részének megoldása egész jól sikerült (az A-ban található dominós sorbarendezéssel elakadt) Fotó: Kun Zsuzsi / Qubit

A ChatGPT 2 pontot kaphatott volna erre a részre (ha a felsorolt nevekből választ, azok viszont képként nem voltak olvashatók számára, ezért engedékenyek vagyunk).

photo_camera A költői eszközök felismerése váratlan volt. Fotó: Kun Zsuzsi / Qubit

A költői eszközök közül csak az ellentétet (az elsőt) nem ismerte fel. Így erre 3 pontot kaphat.

photo_camera A helyesírása példás, de azért így sem lett minden megoldása hibátlan. Fotó: Kun Zsuzsi / Qubit

Az a, b, és c megoldások nem sikerültek, de a d és az e jó lett, ami 2 pontot jelent.

photo_camera Az állatokkal kapcsolatban is van némi kavarodás a válaszok között. Fotó: Kun Zsuzsi / Qubit

Sajnos csak két állatot talált el, így nem adható pont a feladatra. A 8. feladat első részének megoldása szintén nem sikerült túl fényesen:

photo_camera A toldalékok rendszere kifogott rajta. Fotó: Kun Zsuzsi / Qubit

A következő egy hosszú szövegértési feladat volt, ahol csak néhány megoldást tudtunk értékelni.

photo_camera Az információk szövegből történő kinyerése elég jól ment neki. Fotó: Kun Zsuzsi / Qubit
photo_camera Itt is sikerült majdnem mindent eltalálnia. Fotó: Kun Zsuzsi / Qubit

A 9-es feladatra (kihagyva a képes feladatrészt) összesen 7 pontot tudunk adni.

photo_camera Megkértük arra is, hogy készítse el az esszét. Valószínűleg úgy érezte, hogy nem jutott rá elég ideje, mert az utolsó mondat váratlanul félbeszakadt. Fotó: Kun Zsuzsi / Qubit

Gyakran előfordul, hogy a ChatGPT megismétli a kérdést, ezzel terjengőssé válnak a válaszai. A 10. mondata viszont nem teljes, emiatt mindenképpen pontlevonás jár. Ugyanakkor az írásképe és a helyesírása szuper, erre máris kaphat 3 pontot. A tartalmi elemekre még 3 pontot adtunk.

Magyarból tehát összesen: 20 pont a lehetséges 50-ből (a tavaly felvételizők átlagpontszáma: 30,01 pont).

Matekból gyorsan érkeztek a többnyire rossz megoldások

Folytassuk a matematikával! (Itt a 2022-es feladatsor, itt a javítókulcs.)

photo_camera Az A, a B és a C kiszámítás remekül ment a ChatGPT-nek, a törtes feladattal viszont elakadt, ezt külön is megpróbáltuk megoldatni vele. Fotó: Kun Zsuzsi / Qubit

Vannak feladatok, amiket át kellett fogalmaznunk, mert a PDF-ből másolással értékes információk vesztek el, például a törtvonalak.

photo_camera ... de hiába írtuk be máshogy, így sem volt sikeres a próbálkozás. Fotó: Kun Zsuzsi / Qubit

Azonban így sem volt olyan sikeres a feladatmegoldás, a ChatGPT az első feladatban 3 pontot szerzett.

photo_camera Ennél a feladatnál sajnos a köbös mértékegységek értelmezése volt sikertelen, viszont a másik két sor mértékegységváltásait tökéletesen megoldotta a ChatGPT. Fotó: Kun Zsuzsi / Qubit

Az, hogy a b, feladatban mi történt, rejtély, de az a-ra és a c-re jár a 3 pont.

photo_camera A sorba rendezési feladatnál az ábrák értelmezési lehetőségének hiánya miatt nem teljesített jól a gép, viszont azok a megoldások, amiket javasolt, egész helytállóak az általa megismert szabályok alapján. Ráadásul azt is hozzátette, hogy a középső négyzetben nem lehet X (igaz, azt nem árulta el, hogy melyik középső négyzetben). Fotó: Kun Zsuzsi / Qubit

Erre a feladatra nem adtunk pontot, mert az elfogadható megoldások száma helyett kétszer annyit adott meg (itt a túl sok rossz megoldás felsorolása pontlevonással jár).

A 4. feladatban egy grafikonról kellett volna adatokat leolvasnia, az 5.-ben pedig egy négyszögben szögeket kellett volna számolnia. Mivel képeket nem tudunk neki megadni, így ezeket a feladatokat ki kellett hagynunk.

photo_camera Itt elég alaposan félrement a feladatmegoldás. A ChatGPT a végén teljesen megfeledkezett arról, hogy nem lehet maradéka az osztásnak a feladat értelmében. Fotó: Kun Zsuzsi / Qubit

Tibi érdemjegyeinek kiszámításaihoz a 6-os feladatban egyenletet kellett volna használni. A ChatGPT számítási taktikája nem teljesen őrültség, ugyanakkor a végén becsúszó logikai bukfenc miatt csupán 1 pontot adtunk neki a 6-ból.

photo_camera Tippeléssel nem bíznánk meg a chatbotot, itt például egyetlen választ sem talált el. (A helyes válaszok: B, C, D, C) Fotó: Kun Zsuzsi / Qubit

A 7-es feladatban elvérzett a chatbot – itt például 4 pontot veszített:

photo_camera A 8. feladat táblázatának sorait kérdések formájában oldattuk meg a ChatGPT-vel, de így sem teljesített hibátlanul. Fotó: Kun Zsuzsi / Qubit

Sajnos az egyenletmegoldás sem a ChatGPT-nek való. Az első sorra 2 pontot, a másodikra pedig 1-et adtunk. A maradék 3 viszont elveszett.

photo_camera Árba nélkül is született megoldás a 9. feladatra. Fotó: Kun Zsuzsi / Qubit

Természetes ábra hiányában rosszul oldotta meg a ChatGPT a feladatot, az igyekezetre pedig nem jár pont.

photo_camera A matek felvételi 10. feladata és a ChatGPT megoldása Fotó: Kun Zsuzsi / Qubit

A 10. feladatra 2 pontot tudunk adni (a 70 fizikai felmérést teljesítő játékos még jó megoldás), utána viszont teljesen zavarossá válik a gép logikája és a végeredmény is rossz.

Matematikából tehát összesen: 12 pont a lehetséges 50-ből (a tavaly felvételizők átlagpontszáma: 22,66 pont).

Ismét fontos megjegyezni, hogy a korrekt összehasonlítás lehetetlen, hiszen a ChatGPT nem tudta feldolgozni a képeket és grafikonokat tartalmazó feladatokat. De csak a gondolatkísérlet kedvéért: vajon felvették volna tavaly ezekkel a pontszámokkal mondjuk a budapesti Sztehlo Gábor Evangélikus Gimnáziumba vagy az Újpesti Könyves Kálmán Gimnáziumba? Tavaly a maximálisan elérhető pontszám ezekben az iskolákban 200 volt, ami az általános iskolából hozott jegyekből (maximum 50 pont), a szóbelin elérhető eredményből (maximum 50 pont) és az írásbeli eredményéből (magyar 50, matematika 50 pont, összesen 100 pont) tevődött össze. Feltételezve, hogy a ChatGPT 50 pontot hozott az iskolából és 50 pontot szerzett a szóbelin, a központi írásbelin elért 32 pontjával bejutott volna a Sztehlo ének-zene tagozatára, ahol 125,5 volt a felvételi ponthatár, a Könyves Kálmánba viszont nem vették volna fel, hiszen ott legalább 168 pont kellett a bejutáshoz.

Kapcsolódó cikkek a Qubiten:

link Forrás
link Forrás
link Forrás