ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

Poznati AI model, ChatGPT prošao je razne testove raznih ljudi diljem svijeta, ali još ga nitko nije ispitao o hrvatskom jeziku i kulturi. Zato ga je hrvatski podatkovni znanstvenik testirao na državnoj maturi. Osim rezultata književnog i gramatičkog testa, donosimo i detaljan ispravak eseja profesorice hrvatskog jezika.

Ako ste tijekom ChatGPT hypea došli u napast da testirate mogućnosti ovog AI modela, niste jedini. Ivan Židov, podatkovni znanstvenik, otišao je korak dalje i odlučio testirati ChatGPT na višoj razini državne mature iz hrvatskog jezika koja je provedena prošle godine.

Osim što je prošao višu razinu sa solidnom trojkom, Ivan je dokazao kako je ChatGPT pismeniji od njega. Model je ostvario prilično dobre rezultate:

Inače Lead Data Scientist u TalentLyftu, Ivan je svoj prvi susret s GPT tehnologijom imao još prije dvije godine. Tada je već prepoznao njegovu snagu, ali za njega je najveće iznenađenje predstavljao najnoviji ChatGPT model. U ovaj eksperiment tako ga je gurnula čista znatiželja s obzirom na to da prati mnogo stručnjaka za AI na LinkedInu te stalno čita objave kako je ChatGPT položio neki novi test…

Htio sam ga staviti na državnu maturu da vidim kako će proći. Kako sam matematičar, prva ideja mi je bila matura iz matematike. Međutim, smatrao sam kako će ljude više zanimati njegovo znanje hrvatskog jezika jer takav test (koliko ja znam) još nije proveden.

Većina tih testova na koje je Ivan naletio na LinkedInu nisu imale dokaze položenog testa. Zato je on sam temeljito proveo testiranje čije rezultate svi mogu vidjeti. Osim rezultata sa samog ispita, donosimo i detaljan ispravak eseja, koji je ispravila profesorica hrvatskog jezika koja inače ispravlja mature.

Kako je Ivan proveo eksperiment?

Za ispit iz književnosti i jezika Ivan je postavio sljedeća pravila:

  • ChatGPT smije koristiti samo ono što piše na maturi;
  • nema višestrukog generiranja (prvi odgovor se sprema);
  • smiju se dodati samo instrukcije za odgovaranje.

Paralelno je radio na 3 otvorena prozora. U jednom je bio otvoren ispit, u drugom ChatGPT i trećem exelica za evidenciju odgovora.

Kako je ChatGPT uvijek generirao puni odgovor, tako je Ivan odredio da samo prvo slovo odgovora stavi u stupac za predviđeni odgovor. Na kraju, taj predviđeni odgovor Ivan je usporedio s točnim odgovorima.

Poznavanje konteksta povećava šanse za dobivanje točnog odgovora

Ivan je potvrdio još jednom dosadašnje znanje o ChatGPT-u. Potreban mu je kontekst za optimalne rezultate. U zadacima iz književnosti koji su bili s tekstom imao je 80%, a na zadacima bez teksta 73% što potvrđuje kako mu je potreban kontekst kako bi došao do točnog zaključka.

Ivan je siguran kako bi rezultati u zadacima iz jezika bili bolji kada bi dobio više informacija. Jedan od takvih zadataka je 63. pitanje:

Koja je riječ u sljedećoj rečenici zanaglasnica? “Razmišljam o tome primjećuješ li i ti to.”

  1. o
  2. li
  3. i
  4. to

Kad bi se iznad samog zadatka stavila definicija zanaglasnica, vjerojatnije je da bi dobili točan odgovor, ističe Ivan.

Lijeni esejist: “Nisam ga nikako mogao natjerati da generira dovoljno riječi”

Pitanja iz književnosti i jezika nisu predstavljala problem, ali je zato esej donio svoje izazove.

Ivan je morao u ChatGPT ubaciti književni tekst na temelju kojeg će nastati esej i same upute koje glase:

  • Esej se mora sastojati od uvoda, razrade i zaključka.
  • Predstavite poetiku djela Patnje mladoga Werthera.
  • Usporedite na temelju djela u cjelini Lottin odnos prema Wertheru i prema Albertu.
  • Interpretirajte polazni tekst na sadržajnoj i stilskoj razini.
  • Protumačite na temelju čitateljskoga iskustva kako ljubav motivira postupke književnih likova.
  • Obrazložite svoje tvrdnje.
  • Esej mora biti dugačak i detaljan.

Tu je ChatGPT imao problem. Generirao je premalo teksta, tek sačinjen od 150 do 200 riječi:

Nisam ga nikako mogao natjerati da generira dovoljno riječi. Također, ponekad je generirao odgovor na engleskom ili srpskom.

Nakon desetak pokušaja, Ivan je odustao od ChatGPT-a i prebacio se na “klasični GPT”, odnosno GPT-3 (davinci-003). Za razliku od ChatGPT-a koji je limitiran u količini teksta/karaktera koje može “izbaciti” (više bi zahtijevalo puno procesorske moći), klasični GPT manje je limitiran i generira duže tekstove. Problema više nije bilo te je iz prvog pokušaja generiran odgovarajući esej kojeg je zatim ispravila profesorica hrvatskog jezika.

Cijeli esej i proces po kojemu je evaluiran možete vidjeti u ovom dokumentu. Tu je dostupan detaljan ispravak, a mi ćemo izdvojiti zaključak:

U eseju se uglavnom govori o sadržaju djela. Vrlo je precizno tumačenje odnosa između likova i opisivanje događaja. Nedostaju književnopovijesni i književnoteorijski pojmovi, citati iz teksta kojima se dokazuju tvrdnje i usporedba s drugim književnim tekstovima (čitateljsko iskustvo). Pravopisna i gramatička pravila primijenjena su u potpunosti, sintaktička pravila su donekle narušena.

“To je vrlo moćan alat i djecu treba educirati o njegovom korištenju.”

Nema sumnje, AI modeli poput ChatGPT-ja postat će dio naše svakodnevice. Nama je najbolji pokazatelj tome kad se na Netokraciji počnu nizati članci na temu.

Trenutno se u kontekstu ovoga vodi rasprava hoće li napredni AI modeli zamijeniti čovjeka i kako će on utjecati na školstvo. Međutim, kako je to lijepo sažela naša Antonija, promjene koje donosi napredak u tehnologiji kompleksnije su, sporije i manje seksi od bombastičnih predviđanja na društvenim mrežama.

Nikakvi potresi se neće dogoditi u školstvu, barem uskoro, ali to ne znači kako ne bi trebali razgovarati o njima pa je tako Ivan dao svoje mišljenje prema kojem zabranu ovog alata u školstvu smatra potpunim promašajem:

To je vrlo moćan alat i djecu treba educirati o njegovom korištenju. Ja ga osobno koristim kao mentora te  smatram da svakom djetetu treba mentor. Iako virtualni.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Programiranje

Modrić, papige i printeri znaju da nas roboti neće zamijeniti

Poplava GPT-4 gurua i Microsoft vs Google utrke stvara dojam friške revolucije, no umjetna inteligencija već desetljećima skriva iste kosture u ormaru. Dobrih ideja i rješenja ima mnogo. Lovaca u mutnom vjerojatno i više. Pitanje je samo - tko će biti glasniji?

Razvoj weba

UX je posao Project Managera? Dizajnera? Pisca? Developera?

Iako svi trube o važnosti UX-a, nitko ne zna tko bi se time trebao baviti, ne postoje UX istraživači unutar timova niti najvećih domaćih tehnoloških kompanija, a korisničkim iskustvom se bavi tko stigne ili kome to uvale. 

Analiza

Sve više mama-influencerica skriva lica svoje djece s interneta. I to je ispravna odluka.

Djeca influencera i djeca influenceri koja su odrasla na internetu danas na pragu zrelosti osvještavaju da im se zapravo nije sviđalo djetinjstvo pred kamerama i u suradnjama s brendovima. Ujedno je i sve više i daleko ozbiljnijih situacija gdje iskorištavanje djece na internetu graniči s kaznenim djelima.

Što ste propustili

Panel

Je li doktorski studij korak na koji se isplati odvažiti – dok radite?

Ivan, Petar, Tomislav i Goran iz Poslovne inteligencije opisali su nam svoj put do doktorske titule: zašto su upisali doktorski studij, što im je pomoglo kad je bilo najteže te koliko im je na kraju donio znanja koja danas mogu koristiti na poslu.

Dizajn

Zašto (i) Spotify želi postati TikTok?

Spotify je najavio velike promjene unutar aplikacije koje narušavaju korisničko iskustvo samog slušanja glazbe. Zašto se podigla tolika prašina, što nam donose nove funkcionalnosti i hoće li Spotify izgubiti vjerne korisnike?

Digitalni marketing

ChatGPT je novi makretinški mesija. Ili?

Svake godine, a ponekad, ako smo dovoljno dobri, i dva puta godišnje pojavi se novi mesija marketinga koji je došao odagnati apsolutno sve naše marketinške muke, promijeniti svijet marketinga i dati nam odrješenje svih naših marketinških grijeha. Trenutno, po nekima, to je ChatGPT.

Gaming

Hrvatska platforma GameBoost osigurala 2 milijuna eura od Fil Rouge Capitala i Feelsgooda

GameBoost planira pobijediti globalnu konkurenciju u ponudi gaming usluga poput treniranja igrača i zajedničkog igranja u popularnim online multiplayer video igrama. Korak bliže tome dovodi ih nova investicijska runda.

Novost

Infobip imenovao Richarda Krasku na mjesto financijskog direktora

Richard Kraska je iskusni financijski stručnjak, koji je prije dolaska u Infobip obnašao dužnosti financijskog direktora u nekoliko brzorastućih softverskih tvrtki.

Tvrtke i poslovanje

Hrvatska je zaposlila jako malo ukrajinskih IT stručnjaka. Ovo su priče nekih od njih

Kroničnoj nestašici IT kadrova na domaćem tržištu i postojanju pravnih preduvjeta usprkos, rijetke su domaće IT tvrtke koje su zaposlile radnike iz Ukrajine koji nisu i prije radili za njih.