Strojno učenje u praksi i u učionici: perspektiva tri generacije o dva različita svijeta

O Visage Technologiesu već ste imali priliku čitati na Netokraciji u nekoliko navrata. Ova švedsko-hrvatska IT tvrtka koja se kroz svoje dvije divizije specijalizirala za razvoj softvera za praćenje, analizu i prepoznavanje lica, ali i tehnologije za naprednu podršku vozačima naučila nas je mnogo toga o primjeni visoke tehnologije u različitim industrijama.

Visageovi stručnjaci tako danas rade na projektima o kojima su na fakultetu mogli samo sanjati. I to je za očekivati. Praksa u području strojnog učenja i umjetne inteligencije se u mnogočemu razlikuje od onoga što se i kako prolazi u učionicama – počevši od tipa i količine podataka do vrste modela i alata. Ipak, u učionici se stvaraju temelji da isti ti stručnjaci mogu “otključati” te potencijale jednom kada se zaposle.

Kako bi otkrili detalje ta dva naizgled različita svijeta, ali vidjeli i kako se međusobno uvjetuju razgovarali smo s tri stručnjaka u Visage Technologiesu s različitim perspektivama: Lukom Pavlovićem, Junior R&D inženjerom, Hrvojem Backovićem, Senior R&D inženjerom te Igorom Pandžićem, suosnivačem firme i profesorom na Fakultetu elektrotehnike i računarstva u Zagrebu.

AI attracting experts. Since 1990s.

Iako AI i strojno učenje svoje početke bilježe još iz sredine 20. stoljeća, sudeći po tržištu rada, takvi stručnjaci su tek zadnjih 10-ak godina postali jedni od najtraženijih.

Igor je mogao pratiti ubrzani razvoj tog područja od ranih dana:

Istina, još kada sam ja bio student u ranim 90-tim godinama slušao sam umjetnu inteligenciju uključujući neuronske mreže, no tadašnji algoritmi su bili primjenjivi samo na relativno jednostavne probleme. Tek u ovom stoljeću su algoritamska poboljšanja, u sprezi s daleko većim procesorskim kapacitetima i dostupnošću velikih količina podataka za treniranje, rezultirala metodama primjenjivima na složene probleme u raznim područjima industrije i svakodnevnog života.

Luka se s područjem strojnog učenja i AI-ja prvi put susreo na zadnjoj godini preddiplomskog studija na zagrebačkom FER-u. Ipak, i njega je najviše privukao rezultat algoritama strojnog učenja na probleme koji su do tada bili smatrani velikim preprekama za računalne programe.

Modeli i algoritmi strojnog i dubokog učenja u mogućnosti su nositi se s problemima koje dosadašnje egzaktne metode ne mogu efikasno riješiti, ističe i Hrvoje. Njega je zato području strojnog učenja najviše privukla široka primjena u velikom broju različitih industrija kao što su medicina, financije, prijevoz, telekomunikacije, društvene mreže i sl.

(Ne)Očekivano o primjeni AI tehnologija u praksi

Pa iako ih je, kao mnoge druge, području privuklo rješavanje stvarnih problema, teorija se često udaljava od – primjenjivog. Kroz akademsko obrazovanje i čitanje znanstvenih članaka studenti koji su se odlučili posvetiti području ML-a i AI-a najčešće uče o najnovijim modelima koji pomiču granice u području, a u kojima se gotovo isključivo predaje važnost preciznosti modela.

Luka je upravo radeći u praksi osvijestio kako modeli koji daju najbolju točnost nisu trenutno primjenjivi na stvarne probleme. Primjerice, kad je riječ o Visageu, dodaje kako se njihovi algoritmi koriste u ugrađenim i jednostavnijim automobilskim sustavima, bez dovoljno računalne snage da bi vrtjeli modele koji imaju puno dubokih slojeva pa je bitno naći kompromis između efikasnosti i preciznosti.

Igor također ističe kako je oduvijek u praksi veliki problem bila procesorska snaga jer najnoviji algoritmi koji dolaze iz znanstvene zajednice često budu prezahtjevni za implementaciju na svim ciljanim platformama, npr. ranijim generacijama mobilnih uređaja ili u automobilskoj industriji.

Novi algoritmi zasnovani na strojnom učenju uvođeni su postupno, uz puno pokušaja i pogrešaka, no s vremenom je svima postalo jasno da strojno učenje može riješiti probleme koji su do tada izgledali izuzetno teški, kao na primjer detekcija lica za koju se klasični (danas zastarjeli) algoritam Viola Jones pojavio još 2001. godine.

S druge strane, Hrvoje se prisjeća kako je na fakultetu bio veoma motiviran što su koristili razne modele za rješavanje “školskih problema” za koje su bili pripremljeni manji skupovi podataka. Cilj kolegija bio je upoznati se s lepezom različitih algoritama. Ipak, struka je nešto drugačija od akademije, počevši od količine podataka do toga što praktično i poslovno ima smisla implementirati:

Rad u industriji oslanja se na već provjerena rješenja, a u svakodnevnom radu težimo njihovom usavršavanju i maksimalno kvalitetnom iskorištavanju velikog skupa podataka koje imamo u svojoj bazi.

“Stvarni podaci u sebi često sadrže puno suptilnih i zanimljivih informacija “

Luka u Visage Technologiesu radi u Face Technology odjelu koji razvija vlastite proizvode vezane uz tehnologiju za praćenje, analizu i prepoznavanje lica. Primjenu nalaze u različitim industrijama, a kaže kako imaju širok spektar klijenata kojima ne fali zanimljivih ideja.

U takvom okruženju izazova nikad ne nedostaje, a posljednji projekt na kojem sam radio bio je vezan za beauty industriju. Radio sam na razvijanju modela koji će preciznije detektirati točke na licu i poboljšati naš virtual makeup try on.

Visage Technologies od samog osnivanja 2002. g. razvija tehnologiju praćenja ljudskog lica u slici, prisjeća se Igor:

Prve generacije našeg softvera koristile su klasične algoritme računalnog vida poput npr. usporedbe uzoraka, no usporedo s razvojem ovog znanstvenog područja i naši stručnjaci su postepeno uvodili prvo jednostavnije pa onda sve složenije metode strojnog učenja u rješavanje ovih problema.

Hrvoje pak radi u drugom, mlađem, ali sve brojnijem odjelu Visagea – Automotive diviziji koja je posvećena posvećena suradnji s Arriverom – švedskim proizvođačem tehnologije za naprednu podršku vozačima (ADAS). U srži njihovog ADAS sustava nalazi se duboka neuronska mreža koju je potrebno optimizirati i trenirati na što većem skupu podataka. Srećom, danas za to postoje napredna radna okruženja i alati, treniranje modela je automatizirano te se provodi paralelno na više računala i grafičkih kartica – što je i jedna od stvari koja ga posebno veseli kad je u pitanju rad u industriji, pojašnjava Hrvoje:

Veseli me mogućnost da vlastite ideje isprobam “na klik”, čak i ako na rezultate tog klika čekam neko vrijeme 🙂 Automatizacijom se smanjuje mogućnost pogreške pa inženjeri svoje vrijeme mogu posvetiti razvijanju ostatka sustava. Naime, treniranje modela samo je dio slagalice – model je potrebno ugraditi u ostatak sustava koji mora poštivati sigurnosne standarde i odgovarati zahtjevima klijenta. Rad sa zahtjevima klijenta, dizajn i arhitektura sustava vrlo su važna i zanimljiva područja iako se kao studenti s time ne susrećemo.

Na moje pitanje postoje li neke stvari koje ga danas posebno vesele u razvoju, a koje su mu na faksu izgledale zamorne i nebitne, Luka priznaje da ga istraživanje i analiziranje podataka iz stvarnih skupova podataka puno više veseli sada nego što je to bio slučaj na fakultetu.

U vježbama bi podaci obično bili “umjetni” pa bi se pronalaženje nekih nepravilnosti činilo kao da je namjerno umetnuto ili nepravilnosti jednostavno ne bi postojale. Stvarni podaci u sebi često sadrže puno suptilnih i zanimljivih informacija koje nam pomažu u rješavanju problema, a koje otkrijemo tek nakon detaljnije analize. Na primjer, u domeni Driver Monitoring sustava koristan je infracrveni spektar koji daje bolje informacije za klasifikaciju određenih spoofing napada od standardnog RGB spektra.

Jedna od glavnih razlika između učionice i prakse je posvećenost podacima

Školski primjeri uglavnom se bave manjim i očišćenim skupovima podataka dok je u industriji čest slučaj velikih količina podataka koje je potrebno “očistiti”, analizirati, filtrirati i pretprocesirati, pojašnjava Hrvoje. A s tim se slaže i Luka:

Kroz fakultet i tečajeve navikli smo raditi u okruženju u kojem bi imali pripremljene, čiste podatke gdje bi nam bilo bitno napraviti što točniji model bez puno ograničenja. U praksi ipak moramo najprije sami očistiti i pripremiti podatke i zatim paziti na domenu problema i primjenjivost algoritama u stvarnom okruženju.

No Hrvoje dodaje kako veće skupove podataka treba i duže “trenirati”, a na rezultate se čeka i po tjedan dana.

Osim toga, kolegiji na fakultetu obrađuju razne algoritme i modele dok se u praksi fokus stavlja na manji podskup koji se smatra “state-of-the-art” – u našem slučaju to su duboke konvolucijske neuronske mreže. Kao inženjeri puno vremena provodimo unaprjeđujući postojeće modele kako bi sustav u konačnici bio siguran u svakoj situaciji koja se realno može dogoditi u prometu.

A kao što i kroz obrazovanje moramo proći neke užasne dijelove zanimalo me postoje li neke stvari koje su i u praksi “nužno zlo”, znate – ono što se nikome ne da, poput pisanja dokumentacije, testova i slično. Najvažnije, zanimalo me kako se nose s takvim zadacima. Hrvojev odgovor odličan je primjer kako se dobro postaviti prema istima, koliko se god činili naporni:

Strojno učenje uključuje rad s podacima, što nije uvijek uzbudljiv posao. Podatke je potrebno naručiti i označiti, a iako u Visage Technologies ne označujemo podatke, potrebno je pisati upute za označavanje i otkrivati moguće greške u oznakama. To su možda nešto manje zanimljivi zadaci, ali u njima je velika odgovornost jer greške mogu biti skupe. Također, kvalitetni podaci uglavnom najviše pridonose dobrim rezultatima treninga. Osvještavanje toga pomaže nam da takvim zadacima pristupimo ozbiljno i savjesno.

Što je važno “ponijeti” s faksa?

Luka navodi kako postoji puno predmeta na fakultetu koje unapređuju inženjerski način razmišljanja, no po njemu su matematika, programiranje i statistika najpotrebniji u ovom poslu.

Kao student FER-a Hrvoje se također imao priliku susresti s različitim razvojnim alatima, programskim jezicima i paradigmama što navodi kao veliku pomoć u svakodnevnom poslu. Visage Technologies koristi raznovrsne tehnologije i jezike kao što su C/C++, C# ili Python pa je za lakše snalaženje korisno imati dobre temelje u programiranju, zaključuje.

Iz perspektive stručnjaka koji danas već dugi niz godina radi u struci Hrvoje ističe i kako se vidi da FER-ov današnji kurikulum sadrži više kolegija vezanih uz podatke, strojno i duboko učenje nego što je to bilo u njegovo vrijeme, što mu je posebno drago, a dodaje kako bi volio takav pomak vidjeti i još nekim aspektima:

Neke moje ideje za dodatke kurikulumu bili bi kolegiji koji pokrivaju upoznavanje s agilnim metodologijama, korištenje sustava za verzioniranje i alata za testiranje. To su neizostavni koncepti gotovo svake softverske kompanije za koje mislim da bi se mogli podučavati i na fakultetu. Dobrodošlo je naravno i iskustvo rada u timu kroz neki kolegij ili projekt na kojem studenti surađuju.

Luka se slaže te dodaje kako se nada vidjeti više poticaja i mogućnosti suradnje studenata i firmi iz ovog područja kroz projekte u kojem bi studenti mogli unaprijediti svoje znanje i pokazati se potencijalnim poslodavcima.

Što bi danas voljeli poručiti mlađem sebi koji tek kreće u svijet AI/ML-a?

Luka bi sebi preporučio da što prije krene raditi na stvarnim projektima, a dao je i par savjeta kako to možete i vi čak i prije nego što se odlučite negdje zaposliti:

Na internetu postoji jako puno dobrih resursa i online natjecanja koji imaju podatke, a natjecateljima oforme problem tako da izgleda kao da radiš na rješenju za pravog klijenta. Podaci obično dolaze u nesređenom obliku pa je potrebno očistiti i analizirati podatke, baš kao u praksi. Uz to, postoji jako velika zajednica u sklopu tih natjecanja pa su rasprave unutar takvih krugova odličan izvor za učenje, posebno za ljude koji vole učiti radeći. Također, AI hackathoni, kojih je sve više u Hrvatskoj dobar su način za produbljivanje znanja i upoznavanje sa stručnjacima iz područja.

Hrvoje bi mlađem sebi poručio da malo više pripazi na satovima matematike 🙂

Svijet strojnog učenja i umjetne inteligencije ubrzano raste, a novi algoritmi i modeli gotovo se svakodnevno objavljuju. Teško je znati sve, ali s dobrim temeljima u matematici (pogotovo optimizacija, vjerojatnost i statistika) puno je lakše usvajati i učiti nove koncepte.

Posao u Visage Technologiesu zahtijeva kontinuirano učenje i razvijanje vještina, dodaje Hrvoje ističući kako zato zaposlenicima nude brojne različite edukacije, radne grupe, konferencije i ljetne škole kako bi mogli nadograđivati svoja postojeća znanja. Ako su vas Igor, Hrvoje i Luka potaknuli da saznate više o tome što se i kako radi u Visage Technologiesu, pročitajte o čemu smo još s njihovim stručnjacima razgovarali.

A svakako pogledajte i njihove stranice karijera za više informacija o otvorenim pozicijama.