ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

Poznati AI model, ChatGPT prošao je razne testove raznih ljudi diljem svijeta, ali još ga nitko nije ispitao o hrvatskom jeziku i kulturi. Zato ga je hrvatski podatkovni znanstvenik testirao na državnoj maturi. Osim rezultata književnog i gramatičkog testa, donosimo i detaljan ispravak eseja profesorice hrvatskog jezika.

Ako ste tijekom ChatGPT hypea došli u napast da testirate mogućnosti ovog AI modela, niste jedini. Ivan Židov, podatkovni znanstvenik, otišao je korak dalje i odlučio testirati ChatGPT na višoj razini državne mature iz hrvatskog jezika koja je provedena prošle godine.

Osim što je prošao višu razinu sa solidnom trojkom, Ivan je dokazao kako je ChatGPT pismeniji od njega. Model je ostvario prilično dobre rezultate:

Inače Lead Data Scientist u TalentLyftu, Ivan je svoj prvi susret s GPT tehnologijom imao još prije dvije godine. Tada je već prepoznao njegovu snagu, ali za njega je najveće iznenađenje predstavljao najnoviji ChatGPT model. U ovaj eksperiment tako ga je gurnula čista znatiželja s obzirom na to da prati mnogo stručnjaka za AI na LinkedInu te stalno čita objave kako je ChatGPT položio neki novi test…

Htio sam ga staviti na državnu maturu da vidim kako će proći. Kako sam matematičar, prva ideja mi je bila matura iz matematike. Međutim, smatrao sam kako će ljude više zanimati njegovo znanje hrvatskog jezika jer takav test (koliko ja znam) još nije proveden.

Većina tih testova na koje je Ivan naletio na LinkedInu nisu imale dokaze položenog testa. Zato je on sam temeljito proveo testiranje čije rezultate svi mogu vidjeti. Osim rezultata sa samog ispita, donosimo i detaljan ispravak eseja, koji je ispravila profesorica hrvatskog jezika koja inače ispravlja mature.

Kako je Ivan proveo eksperiment?

Za ispit iz književnosti i jezika Ivan je postavio sljedeća pravila:

  • ChatGPT smije koristiti samo ono što piše na maturi;
  • nema višestrukog generiranja (prvi odgovor se sprema);
  • smiju se dodati samo instrukcije za odgovaranje.

Paralelno je radio na 3 otvorena prozora. U jednom je bio otvoren ispit, u drugom ChatGPT i trećem exelica za evidenciju odgovora.

Kako je ChatGPT uvijek generirao puni odgovor, tako je Ivan odredio da samo prvo slovo odgovora stavi u stupac za predviđeni odgovor. Na kraju, taj predviđeni odgovor Ivan je usporedio s točnim odgovorima.

Poznavanje konteksta povećava šanse za dobivanje točnog odgovora

Ivan je potvrdio još jednom dosadašnje znanje o ChatGPT-u. Potreban mu je kontekst za optimalne rezultate. U zadacima iz književnosti koji su bili s tekstom imao je 80%, a na zadacima bez teksta 73% što potvrđuje kako mu je potreban kontekst kako bi došao do točnog zaključka.

Ivan je siguran kako bi rezultati u zadacima iz jezika bili bolji kada bi dobio više informacija. Jedan od takvih zadataka je 63. pitanje:

Koja je riječ u sljedećoj rečenici zanaglasnica? “Razmišljam o tome primjećuješ li i ti to.”

  1. o
  2. li
  3. i
  4. to

Kad bi se iznad samog zadatka stavila definicija zanaglasnica, vjerojatnije je da bi dobili točan odgovor, ističe Ivan.

Lijeni esejist: “Nisam ga nikako mogao natjerati da generira dovoljno riječi”

Pitanja iz književnosti i jezika nisu predstavljala problem, ali je zato esej donio svoje izazove.

Ivan je morao u ChatGPT ubaciti književni tekst na temelju kojeg će nastati esej i same upute koje glase:

  • Esej se mora sastojati od uvoda, razrade i zaključka.
  • Predstavite poetiku djela Patnje mladoga Werthera.
  • Usporedite na temelju djela u cjelini Lottin odnos prema Wertheru i prema Albertu.
  • Interpretirajte polazni tekst na sadržajnoj i stilskoj razini.
  • Protumačite na temelju čitateljskoga iskustva kako ljubav motivira postupke književnih likova.
  • Obrazložite svoje tvrdnje.
  • Esej mora biti dugačak i detaljan.

Tu je ChatGPT imao problem. Generirao je premalo teksta, tek sačinjen od 150 do 200 riječi:

Nisam ga nikako mogao natjerati da generira dovoljno riječi. Također, ponekad je generirao odgovor na engleskom ili srpskom.

Nakon desetak pokušaja, Ivan je odustao od ChatGPT-a i prebacio se na “klasični GPT”, odnosno GPT-3 (davinci-003). Za razliku od ChatGPT-a koji je limitiran u količini teksta/karaktera koje može “izbaciti” (više bi zahtijevalo puno procesorske moći), klasični GPT manje je limitiran i generira duže tekstove. Problema više nije bilo te je iz prvog pokušaja generiran odgovarajući esej kojeg je zatim ispravila profesorica hrvatskog jezika.

Cijeli esej i proces po kojemu je evaluiran možete vidjeti u ovom dokumentu. Tu je dostupan detaljan ispravak, a mi ćemo izdvojiti zaključak:

U eseju se uglavnom govori o sadržaju djela. Vrlo je precizno tumačenje odnosa između likova i opisivanje događaja. Nedostaju književnopovijesni i književnoteorijski pojmovi, citati iz teksta kojima se dokazuju tvrdnje i usporedba s drugim književnim tekstovima (čitateljsko iskustvo). Pravopisna i gramatička pravila primijenjena su u potpunosti, sintaktička pravila su donekle narušena.

“To je vrlo moćan alat i djecu treba educirati o njegovom korištenju.”

Nema sumnje, AI modeli poput ChatGPT-ja postat će dio naše svakodnevice. Nama je najbolji pokazatelj tome kad se na Netokraciji počnu nizati članci na temu.

Trenutno se u kontekstu ovoga vodi rasprava hoće li napredni AI modeli zamijeniti čovjeka i kako će on utjecati na školstvo. Međutim, kako je to lijepo sažela naša Antonija, promjene koje donosi napredak u tehnologiji kompleksnije su, sporije i manje seksi od bombastičnih predviđanja na društvenim mrežama.

Nikakvi potresi se neće dogoditi u školstvu, barem uskoro, ali to ne znači kako ne bi trebali razgovarati o njima pa je tako Ivan dao svoje mišljenje prema kojem zabranu ovog alata u školstvu smatra potpunim promašajem:

To je vrlo moćan alat i djecu treba educirati o njegovom korištenju. Ja ga osobno koristim kao mentora te  smatram da svakom djetetu treba mentor. Iako virtualni.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Izvještaj

Metaverse nije mrtav. Njegov zli brat iz Mete možda jest…

Rebrendingom u Metu, Facebook je pokušao preuzeti vlasništvo nad pojmom metaversea, no svjedoci smo koliko mu je to uspjelo. Metaverse više nije u hypeu kao nekad, ali oni koji su se nastavili baviti njime - znaju da priča tek počinje.

Startupi

Osnivač Njuškala uz Hanza Mediju pokreće novi digitalni oglasnik – Dealio

Dealio u tržišnom okršaju za korisnike u Hrvatskoj i šire ima stratešku podršku medijske grupacije Hanza, ali čini se kako se neće zaustaviti na tome.

Veliki intervjui

Program Forward to Health Innovation otvara prijave za treću generaciju polaznika

U modernom post pandemijskog okruženju u kojem se tehnologija ubrzano razvija nikad nije bilo važnije ulagati u zdravstvene inovacije. Forward to Health Innovation je tu da pomogne onima koji imaju ideju, ali ne znaju kako bi je ostvarili.

Što ste propustili

Umjetna inteligencija

Europsko vijeće odobrilo AI akt! Za oko mjesec dana stupa na snagu

Finalno usvojen zakon kojeg je digitalna industrija Europe čekala godinama uskoro će stupiti na snagu, evo koje obveze donosi za sve koji razvijaju sustave uz pomoć umjetne inteligencije.

Tvrtke i poslovanje

Najpoznatija svjetska IT regulatorica: U EU ne gušimo inovacije, nego reguliramo primjenu!

Hoće li se Europa prilagoditi digitalnom dobu i postati konkurentna sa svojim inovacijama ili nam je sudbina biti regulator koji izdaje kazne?

Veliki intervjui

Upoznajte Hrvata koji je napravio nastavak Tetrisa (i dobio blagoslov originalnog tvorca)!

Nevjerojatne priče ne susrećemo svaki dan, a upravo vam donosimo jednu takvu koja se kuhala 12 godina na dva kontinenta, u čijem se središtu nalazi nastavak jedne od najpoznatijih igara ikada napravljenih.

Novost

AI developeri, AI glasovni asistenti, AI dejtanje…

U tjednu koji su obilježile pomalo distopijske AI vijesti u podcastu smo ugostili suosnivača hrvatskog startupa koji svoj proizvod zove - AI developerom.

Startupi

Gorjan Jovanovski: “Bio sam dobar programer, odlučio sam to iskoristiti u borbi za čisti zrak”

Ekološki aktivist, softverski inženjer i poduzetnik ne nalaze se često u jednoj osobi, zbog čega je Gorjan Jovanovski vrlo zanimljiv sugovornik za sve teme koje se dotiču ovih triju područja, a pogotovo u slučajevima kad se ona isprepliću.

Novost

Lorenzo Mayola novi je generalni direktor Glova za Hrvatsku

Glovo, višekategorijska platforma koja korisnicima omogućuje pristup raznim vrstama proizvoda i jela na zahtjev, slavi pet godina rada na hrvatskom tržištu.