ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

ChatGPT prošao višu razinu državne mature iz hrvatskog jezika sa solidnom trojkom!

Poznati AI model, ChatGPT prošao je razne testove raznih ljudi diljem svijeta, ali još ga nitko nije ispitao o hrvatskom jeziku i kulturi. Zato ga je hrvatski podatkovni znanstvenik testirao na državnoj maturi. Osim rezultata književnog i gramatičkog testa, donosimo i detaljan ispravak eseja profesorice hrvatskog jezika.

Ako ste tijekom ChatGPT hypea došli u napast da testirate mogućnosti ovog AI modela, niste jedini. Ivan Židov, podatkovni znanstvenik, otišao je korak dalje i odlučio testirati ChatGPT na višoj razini državne mature iz hrvatskog jezika koja je provedena prošle godine.

Osim što je prošao višu razinu sa solidnom trojkom, Ivan je dokazao kako je ChatGPT pismeniji od njega. Model je ostvario prilično dobre rezultate:

Inače Lead Data Scientist u TalentLyftu, Ivan je svoj prvi susret s GPT tehnologijom imao još prije dvije godine. Tada je već prepoznao njegovu snagu, ali za njega je najveće iznenađenje predstavljao najnoviji ChatGPT model. U ovaj eksperiment tako ga je gurnula čista znatiželja s obzirom na to da prati mnogo stručnjaka za AI na LinkedInu te stalno čita objave kako je ChatGPT položio neki novi test…

Htio sam ga staviti na državnu maturu da vidim kako će proći. Kako sam matematičar, prva ideja mi je bila matura iz matematike. Međutim, smatrao sam kako će ljude više zanimati njegovo znanje hrvatskog jezika jer takav test (koliko ja znam) još nije proveden.

Većina tih testova na koje je Ivan naletio na LinkedInu nisu imale dokaze položenog testa. Zato je on sam temeljito proveo testiranje čije rezultate svi mogu vidjeti. Osim rezultata sa samog ispita, donosimo i detaljan ispravak eseja, koji je ispravila profesorica hrvatskog jezika koja inače ispravlja mature.

Kako je Ivan proveo eksperiment?

Za ispit iz književnosti i jezika Ivan je postavio sljedeća pravila:

  • ChatGPT smije koristiti samo ono što piše na maturi;
  • nema višestrukog generiranja (prvi odgovor se sprema);
  • smiju se dodati samo instrukcije za odgovaranje.

Paralelno je radio na 3 otvorena prozora. U jednom je bio otvoren ispit, u drugom ChatGPT i trećem exelica za evidenciju odgovora.

Kako je ChatGPT uvijek generirao puni odgovor, tako je Ivan odredio da samo prvo slovo odgovora stavi u stupac za predviđeni odgovor. Na kraju, taj predviđeni odgovor Ivan je usporedio s točnim odgovorima.

Poznavanje konteksta povećava šanse za dobivanje točnog odgovora

Ivan je potvrdio još jednom dosadašnje znanje o ChatGPT-u. Potreban mu je kontekst za optimalne rezultate. U zadacima iz književnosti koji su bili s tekstom imao je 80%, a na zadacima bez teksta 73% što potvrđuje kako mu je potreban kontekst kako bi došao do točnog zaključka.

Ivan je siguran kako bi rezultati u zadacima iz jezika bili bolji kada bi dobio više informacija. Jedan od takvih zadataka je 63. pitanje:

Koja je riječ u sljedećoj rečenici zanaglasnica? “Razmišljam o tome primjećuješ li i ti to.”

  1. o
  2. li
  3. i
  4. to

Kad bi se iznad samog zadatka stavila definicija zanaglasnica, vjerojatnije je da bi dobili točan odgovor, ističe Ivan.

Lijeni esejist: “Nisam ga nikako mogao natjerati da generira dovoljno riječi”

Pitanja iz književnosti i jezika nisu predstavljala problem, ali je zato esej donio svoje izazove.

Ivan je morao u ChatGPT ubaciti književni tekst na temelju kojeg će nastati esej i same upute koje glase:

  • Esej se mora sastojati od uvoda, razrade i zaključka.
  • Predstavite poetiku djela Patnje mladoga Werthera.
  • Usporedite na temelju djela u cjelini Lottin odnos prema Wertheru i prema Albertu.
  • Interpretirajte polazni tekst na sadržajnoj i stilskoj razini.
  • Protumačite na temelju čitateljskoga iskustva kako ljubav motivira postupke književnih likova.
  • Obrazložite svoje tvrdnje.
  • Esej mora biti dugačak i detaljan.

Tu je ChatGPT imao problem. Generirao je premalo teksta, tek sačinjen od 150 do 200 riječi:

Nisam ga nikako mogao natjerati da generira dovoljno riječi. Također, ponekad je generirao odgovor na engleskom ili srpskom.

Nakon desetak pokušaja, Ivan je odustao od ChatGPT-a i prebacio se na “klasični GPT”, odnosno GPT-3 (davinci-003). Za razliku od ChatGPT-a koji je limitiran u količini teksta/karaktera koje može “izbaciti” (više bi zahtijevalo puno procesorske moći), klasični GPT manje je limitiran i generira duže tekstove. Problema više nije bilo te je iz prvog pokušaja generiran odgovarajući esej kojeg je zatim ispravila profesorica hrvatskog jezika.

Cijeli esej i proces po kojemu je evaluiran možete vidjeti u ovom dokumentu. Tu je dostupan detaljan ispravak, a mi ćemo izdvojiti zaključak:

U eseju se uglavnom govori o sadržaju djela. Vrlo je precizno tumačenje odnosa između likova i opisivanje događaja. Nedostaju književnopovijesni i književnoteorijski pojmovi, citati iz teksta kojima se dokazuju tvrdnje i usporedba s drugim književnim tekstovima (čitateljsko iskustvo). Pravopisna i gramatička pravila primijenjena su u potpunosti, sintaktička pravila su donekle narušena.

“To je vrlo moćan alat i djecu treba educirati o njegovom korištenju.”

Nema sumnje, AI modeli poput ChatGPT-ja postat će dio naše svakodnevice. Nama je najbolji pokazatelj tome kad se na Netokraciji počnu nizati članci na temu.

Trenutno se u kontekstu ovoga vodi rasprava hoće li napredni AI modeli zamijeniti čovjeka i kako će on utjecati na školstvo. Međutim, kako je to lijepo sažela naša Antonija, promjene koje donosi napredak u tehnologiji kompleksnije su, sporije i manje seksi od bombastičnih predviđanja na društvenim mrežama.

Nikakvi potresi se neće dogoditi u školstvu, barem uskoro, ali to ne znači kako ne bi trebali razgovarati o njima pa je tako Ivan dao svoje mišljenje prema kojem zabranu ovog alata u školstvu smatra potpunim promašajem:

To je vrlo moćan alat i djecu treba educirati o njegovom korištenju. Ja ga osobno koristim kao mentora te  smatram da svakom djetetu treba mentor. Iako virtualni.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Digitalni marketing

Od Yahooa do ChatGPT-ja: Strategije uspjeha na tražilicama koje vrijede i danas

Neke strategije za pozicioniranje na internetskim tražilicama još funkcioniraju i nakon 10 godina. U ovom povratku u prošlost, prisjećamo se raznih praksi, što se od njih zadržalo, a što ne - te što je novo ušlo u igru...

Netokracija Podcast

Ovo je email strategija kojom je Burazin privukao investitore poput direktora Stack Overflowa

U novoj epizodi ulazimo u detalje o: (vjerojatno) najvećoj pre-seed rundi u hrvatski startup; tome kako SAD namjerava kontrolirati AI sustave koji bi mogli napraviti atomsku bombu te zašto osnivača Netokracije Ivana Brezaka Brkana izbacuju iz zagrebačkih kavana?

Programiranje

Tomislav Tipurić uoči ATD-a: Moramo poraditi na promjeni definicije junior developera

Uoči 18. konferencije Advanced Technology Days porazgovarali smo s osobom zaduženom za program, Tomislavom Tipurićem, o svemu što ne smijete propustiti na samom događaju, a i u svijetu tehnologije posljednjih godina i dana. Naravno, AI je neizostavna tema.

Što ste propustili

Novost

Bellabeat lažirao brojke: Danci otkrivaju, Netokracija podcast komentira

Ako ste već pročitali Antonijin tekst, onda nam se pridružite u razgovoru uz prijaznu kavu...

Startupi

Bellabeat lagao o broju korisnika i investiciji s Bank of America?! – tvrde danski mediji!

"Bellabeat je najvrjednija kompanija u portfelju investicijskog fonda Nordic Eye. Postali su jednorog, vrijede 3,5 milijarde dolara. Prihodi u 2022. su im iznosili 525 milijuna dolara. Bellabeat već danas posluje s dobiti."

Tvrtke i poslovanje

Otkazi su sve, samo ne mala stvar. Kako pripremiti ljude?

Nekontrolirano zapošljavanje, fluktuacije kadra te konačno - manjak iskustva u davanju otkaza, doveli su nas do niza loše odrađenih i komuniciranih otpuštanja. Što se moglo bolje?

Digitalni marketing

Od Yahooa do ChatGPT-ja: Strategije uspjeha na tražilicama koje vrijede i danas

Neke strategije za pozicioniranje na internetskim tražilicama još funkcioniraju i nakon 10 godina. U ovom povratku u prošlost, prisjećamo se raznih praksi, što se od njih zadržalo, a što ne - te što je novo ušlo u igru...

Tehnologija

Najveća hrvatska luka u Pločama postat će pametna, uz sufinanciranje iz EU od skoro milijun eura

Luka Ploče postat će prva hrvatska pametna luka. Ujedno je ovo jedini projekt iz Hrvatske koji je Europska Komisija odobrila u sklopu fonda 5GSC - od ukupno 14 odobrenih u cijeloj Uniji.

Tvrtke i poslovanje

Bajke u digitalnom svijetu: Pinokio djeci priča o lažnom predstavljanju, a tri praščića o slabim lozinkama

Stotine ljudi podržale su humanitarnu akciju tvrtke Combis i Centra za nestalu i zlostavljanu djecu.