ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

Ako ste tijekom ChatGPT hypea došli u napast da testirate mogućnosti ovog AI modela, niste jedini. Ivan Židov, podatkovni znanstvenik, otišao je korak dalje i odlučio testirati ChatGPT na višoj razini državne mature iz hrvatskog jezika koja je provedena prošle godine.

Osim što je prošao višu razinu sa solidnom trojkom, Ivan je dokazao kako je ChatGPT pismeniji od njega. Model je ostvario prilično dobre rezultate:

• Književnost i jezik – 65%
• Esej – 62.5%

Inače Lead Data Scientist u TalentLyftu, Ivan je svoj prvi susret s GPT tehnologijom imao još prije dvije godine. Tada je već prepoznao njegovu snagu, ali za njega je najveće iznenađenje predstavljao najnoviji ChatGPT model. U ovaj eksperiment tako ga je gurnula čista znatiželja s obzirom na to da prati mnogo stručnjaka za AI na LinkedInu te stalno čita objave kako je ChatGPT položio neki novi test…

Htio sam ga staviti na državnu maturu da vidim kako će proći. Kako sam matematičar, prva ideja mi je bila matura iz matematike. Međutim, smatrao sam kako će ljude više zanimati njegovo znanje hrvatskog jezika jer takav test (koliko ja znam) još nije proveden.

Većina tih testova na koje je Ivan naletio na LinkedInu nisu imale dokaze položenog testa. Zato je on sam temeljito proveo testiranje čije rezultate svi mogu vidjeti. Osim rezultata sa samog ispita, donosimo i detaljan ispravak eseja, koji je ispravila profesorica hrvatskog jezika koja inače ispravlja mature.

Kako je Ivan proveo eksperiment?

Za ispit iz književnosti i jezika Ivan je postavio sljedeća pravila:

• ChatGPT smije koristiti samo ono što piše na maturi;
• nema višestrukog generiranja (prvi odgovor se sprema);
• smiju se dodati samo instrukcije za odgovaranje.

Paralelno je radio na 3 otvorena prozora. U jednom je bio otvoren ispit, u drugom ChatGPT i trećem exelica za evidenciju odgovora.

Kako je ChatGPT uvijek generirao puni odgovor, tako je Ivan odredio da samo prvo slovo odgovora stavi u stupac za predviđeni odgovor. Na kraju, taj predviđeni odgovor Ivan je usporedio s točnim odgovorima.

Poznavanje konteksta povećava šanse za dobivanje točnog odgovora

Ivan je potvrdio još jednom dosadašnje znanje o ChatGPT-u. Potreban mu je kontekst za optimalne rezultate. U zadacima iz književnosti koji su bili s tekstom imao je 80%, a na zadacima bez teksta 73% što potvrđuje kako mu je potreban kontekst kako bi došao do točnog zaključka.

Ivan je siguran kako bi rezultati u zadacima iz jezika bili bolji kada bi dobio više informacija. Jedan od takvih zadataka je 63. pitanje:

Koja je riječ u sljedećoj rečenici zanaglasnica? “Razmišljam o tome primjećuješ li i ti to.”

1. o
2. li
3. i
4. to

Kad bi se iznad samog zadatka stavila definicija zanaglasnica, vjerojatnije je da bi dobili točan odgovor, ističe Ivan.

Lijeni esejist: “Nisam ga nikako mogao natjerati da generira dovoljno riječi”

Pitanja iz književnosti i jezika nisu predstavljala problem, ali je zato esej donio svoje izazove.

Ivan je morao u ChatGPT ubaciti književni tekst na temelju kojeg će nastati esej i same upute koje glase:

• Esej se mora sastojati od uvoda, razrade i zaključka.
• Predstavite poetiku djela Patnje mladoga Werthera.
• Usporedite na temelju djela u cjelini Lottin odnos prema Wertheru i prema Albertu.
• Interpretirajte polazni tekst na sadržajnoj i stilskoj razini.
• Protumačite na temelju čitateljskoga iskustva kako ljubav motivira postupke književnih likova.
• Obrazložite svoje tvrdnje.
• Esej mora biti dugačak i detaljan.

Tu je ChatGPT imao problem. Generirao je premalo teksta, tek sačinjen od 150 do 200 riječi:

Nisam ga nikako mogao natjerati da generira dovoljno riječi. Također, ponekad je generirao odgovor na engleskom ili srpskom.

Nakon desetak pokušaja, Ivan je odustao od ChatGPT-a i prebacio se na “klasični GPT”, odnosno GPT-3 (davinci-003). Za razliku od ChatGPT-a koji je limitiran u količini teksta/karaktera koje može “izbaciti” (više bi zahtijevalo puno procesorske moći), klasični GPT manje je limitiran i generira duže tekstove. Problema više nije bilo te je iz prvog pokušaja generiran odgovarajući esej kojeg je zatim ispravila profesorica hrvatskog jezika.

Cijeli esej i proces po kojemu je evaluiran možete vidjeti u ovom dokumentu. Tu je dostupan detaljan ispravak, a mi ćemo izdvojiti zaključak:

U eseju se uglavnom govori o sadržaju djela. Vrlo je precizno tumačenje odnosa između likova i opisivanje događaja. Nedostaju književnopovijesni i književnoteorijski pojmovi, citati iz teksta kojima se dokazuju tvrdnje i usporedba s drugim književnim tekstovima (čitateljsko iskustvo). Pravopisna i gramatička pravila primijenjena su u potpunosti, sintaktička pravila su donekle narušena.

“To je vrlo moćan alat i djecu treba educirati o njegovom korištenju.”

Nema sumnje, AI modeli poput ChatGPT-ja postat će dio naše svakodnevice. Nama je najbolji pokazatelj tome kad se na Netokraciji počnu nizati članci na temu.

Trenutno se u kontekstu ovoga vodi rasprava hoće li napredni AI modeli zamijeniti čovjeka i kako će on utjecati na školstvo. Međutim, kako je to lijepo sažela naša Antonija, promjene koje donosi napredak u tehnologiji kompleksnije su, sporije i manje seksi od bombastičnih predviđanja na društvenim mrežama.

Nikakvi potresi se neće dogoditi u školstvu, barem uskoro, ali to ne znači kako ne bi trebali razgovarati o njima pa je tako Ivan dao svoje mišljenje prema kojem zabranu ovog alata u školstvu smatra potpunim promašajem:

To je vrlo moćan alat i djecu treba educirati o njegovom korištenju. Ja ga osobno koristim kao mentora te  smatram da svakom djetetu treba mentor. Iako virtualni.