„Ágyúval lő macska”: megírattuk a magyar középiskolai felvételit a ChatGPT-vel
Ma zajlanak a középiskolai felvételik, ahol a diákok magyarból és matematikából írnak tesztet, mi pedig ennek alkalmából kipróbáltuk, hogy felvennék-e a világot jelenleg legjobban érdeklő chatbotot egy magyar középiskolába.
Az amerikai OpenAI kutatólaboratórium által tavaly novemberben bemutatott ChatGPT-nek azt a feladatot adtuk, hogy oldja meg a 2022-es 8. osztályosoknak szóló középiskolai felvételi feladatsorait, természetesen magyar nyelven. A mesterséges intelligencia nem teljesített kimondottan jól: magyarból 20 pontot szerzett a lehetséges 50-ből, matematikából 12-t, szintén 50-ből, ami azt jelenti, hogy nem érte el a humán felvételizők tavalyi, egyébként 7 év után legjobb átlagpontszámát, ami a magyar feladatsor esetében 30,01 pont volt, matematikából pedig 22,66 pont.
A teljes képhez hozzátartozik, hogy a ChatGPT jellemzően azoknál a feladatoknál akadt el, ahol képeket, táblázatokat vagy grafikonokat kellett volna értelmeznie, vagy sorrendeket, elrendezéseket megállapítania. A többi feladatban viszont meglepően ügyes volt, még úgy is, hogy nem kimondottan magyar szövegeken tanították be a nyelvi modelljét. (Az, hogy a magyarral az angolhoz képest egyelőre meggyűlik a baja, abból is gyanítható, hogy az amerikai orvosi szakvizsgán viszont meglepően jó eredményt ért el.)
A magyar nyelvi felvételiben születtek kimondottan vicces megfejtések
Nézzük a tavalyi magyar felvételi feladatait! Először a kérdések olvashatók, azután a ChatGPT által adott válaszok, amiket a hivatalos javítási-értékelési útmutató alapján pontoztunk.
Az első feladatnál kapásból nem sikerült betartani az egybetűs keretet. Erre viszont nem jár pont, mert a megoldókulcs szerint egész feladat együtt érne 1 pontot, ha mindhárom megoldás helyes.
Egyébként a „Juli kikerekedett szemekkel nézte a felé nyújtott dobozt." mondatot következetesen problémás, inadekvát jelentésűnek minősítette, lehetetlen volt tehát rábírni arra, hogy tulajdonságot társítson hozzá.
4 pontot szerezhetett volna, helyette viszont szórakoztató megoldásokat tálalt a 3. feladatban.
A 4. feladatban egyedül a 4-es pontot találta el, azonban a javítókulcs szerint akkor kaphatna 1 pontot, ha minimum 2 helyes megoldást adott volna.
A ChatGPT itt nem ért egyet a javítókulccsal. Viszont ez azt is jelenti, hogy pontot sem szerzett a feladatban.
A ChatGPT 2 pontot kaphatott volna erre a részre (ha a felsorolt nevekből választ, azok viszont képként nem voltak olvashatók számára, ezért engedékenyek vagyunk).
A költői eszközök közül csak az ellentétet (az elsőt) nem ismerte fel. Így erre 3 pontot kaphat.
Az a, b, és c megoldások nem sikerültek, de a d és az e jó lett, ami 2 pontot jelent.
Sajnos csak két állatot talált el, így nem adható pont a feladatra. A 8. feladat első részének megoldása szintén nem sikerült túl fényesen:
A következő egy hosszú szövegértési feladat volt, ahol csak néhány megoldást tudtunk értékelni.
A 9-es feladatra (kihagyva a képes feladatrészt) összesen 7 pontot tudunk adni.
Gyakran előfordul, hogy a ChatGPT megismétli a kérdést, ezzel terjengőssé válnak a válaszai. A 10. mondata viszont nem teljes, emiatt mindenképpen pontlevonás jár. Ugyanakkor az írásképe és a helyesírása szuper, erre máris kaphat 3 pontot. A tartalmi elemekre még 3 pontot adtunk.
Magyarból tehát összesen: 20 pont a lehetséges 50-ből (a tavaly felvételizők átlagpontszáma: 30,01 pont).
Matekból gyorsan érkeztek a többnyire rossz megoldások
Folytassuk a matematikával! (Itt a 2022-es feladatsor, itt a javítókulcs.)
Vannak feladatok, amiket át kellett fogalmaznunk, mert a PDF-ből másolással értékes információk vesztek el, például a törtvonalak.
Azonban így sem volt olyan sikeres a feladatmegoldás, a ChatGPT az első feladatban 3 pontot szerzett.
Az, hogy a b, feladatban mi történt, rejtély, de az a-ra és a c-re jár a 3 pont.
Erre a feladatra nem adtunk pontot, mert az elfogadható megoldások száma helyett kétszer annyit adott meg (itt a túl sok rossz megoldás felsorolása pontlevonással jár).
A 4. feladatban egy grafikonról kellett volna adatokat leolvasnia, az 5.-ben pedig egy négyszögben szögeket kellett volna számolnia. Mivel képeket nem tudunk neki megadni, így ezeket a feladatokat ki kellett hagynunk.
Tibi érdemjegyeinek kiszámításaihoz a 6-os feladatban egyenletet kellett volna használni. A ChatGPT számítási taktikája nem teljesen őrültség, ugyanakkor a végén becsúszó logikai bukfenc miatt csupán 1 pontot adtunk neki a 6-ból.
A 7-es feladatban elvérzett a chatbot – itt például 4 pontot veszített:
Sajnos az egyenletmegoldás sem a ChatGPT-nek való. Az első sorra 2 pontot, a másodikra pedig 1-et adtunk. A maradék 3 viszont elveszett.
Természetes ábra hiányában rosszul oldotta meg a ChatGPT a feladatot, az igyekezetre pedig nem jár pont.
A 10. feladatra 2 pontot tudunk adni (a 70 fizikai felmérést teljesítő játékos még jó megoldás), utána viszont teljesen zavarossá válik a gép logikája és a végeredmény is rossz.
Matematikából tehát összesen: 12 pont a lehetséges 50-ből (a tavaly felvételizők átlagpontszáma: 22,66 pont).
Ismét fontos megjegyezni, hogy a korrekt összehasonlítás lehetetlen, hiszen a ChatGPT nem tudta feldolgozni a képeket és grafikonokat tartalmazó feladatokat. De csak a gondolatkísérlet kedvéért: vajon felvették volna tavaly ezekkel a pontszámokkal mondjuk a budapesti Sztehlo Gábor Evangélikus Gimnáziumba vagy az Újpesti Könyves Kálmán Gimnáziumba? Tavaly a maximálisan elérhető pontszám ezekben az iskolákban 200 volt, ami az általános iskolából hozott jegyekből (maximum 50 pont), a szóbelin elérhető eredményből (maximum 50 pont) és az írásbeli eredményéből (magyar 50, matematika 50 pont, összesen 100 pont) tevődött össze. Feltételezve, hogy a ChatGPT 50 pontot hozott az iskolából és 50 pontot szerzett a szóbelin, a központi írásbelin elért 32 pontjával bejutott volna a Sztehlo ének-zene tagozatára, ahol 125,5 volt a felvételi ponthatár, a Könyves Kálmánba viszont nem vették volna fel, hiszen ott legalább 168 pont kellett a bejutáshoz.
Kapcsolódó cikkek a Qubiten: