Pod vodstvom Marka Velića, Photomathov AI tim razvio je "state-of-the-art" model strojnog učenja

Pod vodstvom Marka Velića, Photomathov AI tim razvio je “state-of-the-art” model strojnog učenja

Photomathov AI tim je u jedinstvenoj poziciji na tržištu da mogu birati raditi u nekoliko istraživačkih smjerova i to na izradi svjetski popularnog proizvoda, s velikim brojem korisnika i podataka. Kako to izgleda u praksi saznali smo od glavnog i odgovornog - Marka Velića.

Photomathov tim je početkom ove godine postao bogatiji za jednog ključnog renomiranog stručnjaka. Marko Velić stigao je u Photomath iz Facebooka u Londonu, gdje je radio kao Engineering Manager u Advertising timu koji se bavi primjenom strojnog učenja za personalizaciju oglasa na FB platformama. Osim recentnog, njegovo iskustvo proteže se kroz 15 godina profesionalne karijere – od poduzetništva i startupa, freelance kodiranja, akademije, rada u državnoj firmi do velikih korporacija.

“U Photomathu se unutar AI tima otvara niz istraživačkih smjerova iz područja računalnog vida, obrade prirodnog jezika, Recommender sustava i dr., što je rijetkost na tržištu rada.” Foto: Marin Pavelić

Međutim, čak i kada znači otići od diva poput Facebooka, prilika raditi u hrvatskom startupu svjetske razine, uz vrhunske inženjere, nije nešto što se propušta. Bilo je vrijedno povratka kući, kaže Marko, odnedavno u novoj ulozi kao Photomathov Director of Engineering. U proteklih pola godine tako je tim pod njegovim vodstvom razvijao model koji će zamijeniti trenutni skup tehnologija koje se koriste za interpretaciju slike u matematički izraz, a koji će biti ključan pomak za Photomath aplikaciju.

Radi se o kompleksnom modelu strojnog učenja koji je state-of-the-art i kao takav kombinira više tehnika koje se inače primjenjuju kod neuronskih mreža.

Trenutno nismo uspjeli naći da je itko stavljao u produkciju tako kompleksan model (postojeći out-of-the-box sustavi za serviranje modela stojnog učenja ne podržavaju tako nešto), a da je ujedno i skalabilno za naše potrebe. To je izazov s kojim se nekoliko mjeseci borilo čak dvanaest ljudi u našem timu i upravo ovih dana skaliramo stvar u produkciji.

Taj novi pristup nam omogućuje veću točnost, bolje korisničko iskustvo i lakše proširivanje na nove domene matematičkih problema. Primjerice, da podržimo zadatke iz geometrije i slično. Sustav je par tjedana u produkciji i već sada vidimo značajne pozitivne pomake u svim relevantnim metrikama koje pratimo.

No, vratimo se korak unatrag. Mnogi nisu upoznati s detaljima kako i što radi AI tim u Photomathu pa ni što je potrebno da bi jedna naizgled jednostavna aplikacija dostavila matematičke postupke na ekrane korisnika u milisekundama.

“U Photomathu se unutar AI tima otvara niz istraživačkih smjerova iz područja računalnog vida, obrade prirodnog jezika, Recommender sustava i dr., što je rijetkost na tržištu rada.” Foto: Marin Pavelić

Od obrade prirodnog jezika, računalnog vida do sustava preporuke

Jedan od razloga zašto je Photomath danas tako uspješan krije se upravo u umjetnoj inteligenciji odnosno rezultatima inženjera koji su na njoj radili. Tim zadužen za AI u Photomathu bavi se istraživanjem i razvojem tehnologija temeljenih na strojnom učenju, a koje pomažu optimizirati kako aplikaciju tako i različite interne procese.

Jedan od glavnih primjera kako to funkcionira u okviru aplikacije je bolje razumijevanje matematičkih problema koje korisnici postavljaju – da li korištenjem naprednijeg “računalnog vida” ili pak uvođenjem nekih potpuno novih načina razumijevanja korisničkog inputa kao što je razumijevanje teksta ili glasa. Marko pojašnjava:

Ako se zadržimo samo na slikama, tu je već puno izazova i načina na koje možemo taj dio poboljšati. Od veće točnosti “čitanja” formula pa do segmentacije slike i otvaranja novih UX mogućnosti u samoj aplikaciji, npr. mogućnost da korisnik na ekranu u realnom vremenu dobije segmentaciju cijele scene u koju je uperio mobilni uređaj (ili u budućnosti AR naočale) te onda odabere za koji dio formule želi rješenje ili pak da mu se provjeri rješenje koje je sam napisao u bilježnici.

Jedan od velikih i ambicioznih ciljeva je i razumijevanje matematičkih problema koji su opisani riječima odnosno glasom i tu već imaju neke vrlo zanimljive rezultate, iako je to još u debeloj fazi istraživanja, dodaje.

Photomathovi ML inženjeri pripremili su vodič s preporukama najboljih tečajeva, blogova, videa, knjiga i drugih materijala za sve koji žele započeti svoju karijeru u AI/ML području!

Druge primjene AI-ja unutar Photomathov tima tiču se raznih optimizacija koje rade za svoje interne procese ili vanjske suradnike koji rješavaju matematičke zadatke. Pomoću strojnog učenja mogu bolje optimizirati “marketplace zadataka” koji imaju te omogućiti brži i efikasniji rad rješavača. Dodatno, primjene su moguće i u serviranju sadržaja unutar aplikacije.

Primjerice, možemo napraviti sustav za preporučivanje sadržaja (zadataka) koji će korisnicima dati nove smjerove za daljnje učenje. To sve onda može i biti personalizirano, možemo identificirati koje matematičko gradivo korisnik treba bolje utvrditi jer je to preduvjet za neku sljedeću razinu znanja itd.

Danas većina AI inovacija u Photomathu dolazi od samih članova tima

Činjenica da unutar Photomathovog AI tima inženjeri mogu birati u kojem će od nekoliko istraživačkih smjerova raditi jedinstvena je situacija na našem tržištu, ističe Marko.

Rijetkost je da se na tržištu rada nudi takva mogućnost i još k tome na izradi svjetski popularnog proizvoda koji uz to ima i veliku skalu (broj korisnika i količina podataka). Upravo zbog toga privlačimo vrhunske talente u tom području i u konstantnoj smo potrazi za novim kolegama.

AI je u Photomathu prisutan od samih početaka, no od ove godine Photomath mu se posvetio još više. Kako bi sve podigao na jednu novu razinu, procesi razvoja se mijenjaju i postaju sve strukturiraniji. Danas većina AI inovacija u tvrtki nastaje inicijativom samog AI tima, na kojima potom s produktnim timom i ostalim inženjerskim timovima rade na implementaciji u produkt. Photomathovi inženjeri pri tome imaju veliku razinu autonomije i sami biraju metode rada:

Nemamo religije po pitanju konkretnih alata i programskih jezika – svaki član tima dolazi s nekom svojom pozadinom i iskustvima, tako da kombiniramo što je najbolje za dani projekt ili kontekst. Uglavnom je to Python stack, ali ima i koda u GOu, PyTorch za strojno učenje, ArgoCD, Kubernetes za deployment…

Generalno u Photomathu teže filozofiji end-to-end timova. Što znači da AI tim ima “ownership” od početka do kraja odnosno da unutar jednog tima pokrivaju sve – od podatkovnog inženjerstva, treniranja ML modela do deploymenta, produkcije i održavanja.

Kako Marko primjenjuje svoja iskustva iz Facebooka – u Photomathu?

Marko: “Trenutno radimo na nizu projekata koji će imati utjecaja na razne segmente aplikacije i procesa. Primjer je cijeli jedan smjer istraživanja po pitanju sličnosti matematičkih zadataka koji će imati primjenu na nekoliko mjesta u našim sustavima.” Foto: Marin Pavelić

Marko je iza sebe ostavio social diva, no sa sobom je donio vrijedna iskustva o strukturi i organizaciji rada, pogotovo ako uzmemo u obzir da je riječ o tvrtki koja danas zapošljava 59 tisuća ljudi.

Facebook je brutalna inženjerska mašinerija koja je u svojih sedamnaest godina postojanja isprobala razne prakse i vrlo pametni ljudi koji tamo rade su istestirali što i zašto funkcionira, a što ne. To je organizacija koja raste nevjerojatnom brzinom i pravi je izazov uspostaviti taj neki balans iliti “uređeni kaos” koji onda istovremeno osigurava da se sve ne raspadne u tom rastu, ali da se pritom ne ubije kreativnost, inovacija i kreativna sloboda svakog inženjera.

Naravno, potpuno krivo bi bilo samo preslikati sve iste procese u nekoj cargo-cult varijanti, tako da ovdje u Photomathu ipak imamo puno više slobode i puno manje procesa, no neke stvari se od Facebooka, ali i drugih firmi, svakako mogu naučiti.

Jedan od jednostavnih primjera je praksa tjednih 1:1 sastanaka menadžera sa svakim inženjerom. Iako to možda zvuči banalno, takav format omogućuje puno veću posvećenost menadžera svakom članu tima. To je onda sigurno mjesto za diskusiju osjetljivih tema, razgovore o karijeri, razvoju i napredovanju te generalno o raznim temama. Neki od drugih primjera su i izrada strategije za cijeli tim, popisivanje praksi rada, više dokumentacije i komunikacije kroz dokumentaciju te sustavni proces feedbacka.

Ostali su inženjerski timovi također počeli polako preuzimati neke od tih praksi i za sada se takva primjena pokazuje dosta dobra, dodaje Marko. “Kad inženjer iz jednog tima samostalno preporuči neki proces ili organizacijski artefakt drugom inženjeru u nekom drugom timu i onda ovi to rado prihvate – to je najbolja potvrda da to nešto zaista ima smisla“, zaključuje.

Napredak inženjera ne mora biti linearan

Timovi u Photomathu općenito vrlo usko surađuju, ne samo kroz primjenu dobrih praksi, već i kroz razvoj koji je usmjeren ka istom cilju – završnom rješenju koje će korisnicima omogućiti lakše razumijevanje matematičkih problema.

App tim je taj koji u konačnici konzumira ono što proizvede AI tim – sam API, a to je sve deployano na infrastrukturu koju drži naš centralni DevOps/Infrastructure tim. Mjerenje učinkovitosti našeg novog modela će odraditi naš Data Analytics tim koji će analizirati kako se novo korisničko iskustvo odražava na krajnje korisnike, a Core tim nam pomaže evaluirati modele i popunjava rupe koje AI tim još uvijek ima u smislu generalnog software development kadra.

Upravo zato AI tim trenutno ne traži samo inženjere s kompetencijama u području strojnog učenja, već u maniri end-to-end tima zapošljavaju i fullstack inženjere, DevOps inženjere, Data inženjere… na svim razinama senioriteta. Trenutno u AI timu traže DevOps EngineeraProduct ManageraData EngineeraEngineering Managera.

Već imaju 7 studenata u timu, od kojih će oni na zadnjim godinama nastaviti raditi kao juniori. Naravno, za uspješno mentoriranje tog mladog kadra trebaju i jake seniore, a kako raste tim raste i potreba za inženjerskim menadžerima i voditeljima timova.

Obično se najiskusniji ljudi nađu u tim pozicijama, no ne žele se svi nužno baviti ljudima ili organizacijom pa se često dogodi da se taj dio posla zanemari zbog fokusa na tehničke izazove. Tu se događa ta podjela gdje inženjeri trebaju odlučiti što zapravo žele raditi jer oboje istovremeno (kodiranje i vođenje većeg tima) postaje neodrživo.

Zbog toga i uvodimo dva karijerna smjera, jedan za individualne inženjere i drugi za menadžere. Ideja je da ljudi odaberu koji smjer ih više zanima i u kojem će se dalje razvijati te da ih uputimo kako prelazak u menadžerske vode nije jedini način napredovanja. Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.

U okviru toga će provoditi i Management akademiju, a kroz koju će i Marko održati neka od predavanja i imati ulogu mentora za nove menadžere i voditelje.

Još detalja o tome što sve radi AI tim u Photomathu, uz navođenje primjera i problema koje rješavaju, moći ćete saznati i 5. listopada na četvrtom Photomath Talku: Behind the Screens, besplatnom online meetupu za tech zajednicu. Iskoristite priliku pitati sve što vas zanima! Na događaj se možete prijaviti putem ovog linka.

Photomath Talks: Behind the Screens #4

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

  1. Ana

    Ana

    01. 10. 2021. u 11:24 am Odgovori

    Odličan uvid u Photomath funkcioniranje. Posebno mi se sviđa dio vezano za napredovanje i promjenu smjera “Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.” Bravo Photomath! I hvala Netokraciji na još jednom zanimljivom članku!

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Kultura 2.0

Dinamo je prvi hrvatski sportski ICO, kupite njihov $DZG token za 2 eura – i uključite se u klupske odluke!

Nakon brojnih drugih velikih klubova hrvatski nogometni prvak odlučio se na iskorak u blockchain svijet kroz novi model članstva. U "inicijalnoj ponudi tokena” od 29. rujna moći ćete postati vlasnik fan tokena Dinama s kojima ćete moći trgovati i sudjelovati u određenim odlukama kluba. Što to znači za kripto dioničare, koja je motivacija kluba za ovaj projekt i tko stoji iza Sociosa istražili smo iz prve ruke.

Intervju

Splitski Blank s partnerima uskoro lansira hrvatski NFT marketplace na Ethereumu!

Uz bok nekolicine renomiranih umjetnika suvremene umjetničke scene, a pod vodstvom splitske agencije Blank, stiže nam Endemic platforma za trgovanje NFT umjetninama. Više o projektu otkrivamo od samih pokretača.

Digitalni marketing

Prima se rebrendirala: Što (i tko) stoji iza prepoznatljivog, a inovativanog vizualnog identiteta?

Od obiteljske tvrtke do poslovnog sustava s više od 2000 zaposlenih. Prima je u posljednjih 25 godina poprilično odmaknula od svojih početaka, stoga je bilo krajnje vrijeme za vizualni identitet koji bi odražavao takvu promjenu.

Što ste propustili

Vodič

Gledaj i uči! Najbolji edukativni kanali na YouTubeu

Donosimo vodič kroz edukativne kanale na YouTubeu od kojih ćete sigurno nešto naučiti i nikad više nećete reći da je YouTube carstvo gluposti za klince i influensera koji se krevelje.

Intervju

Gamechuck u suradnji s udrugom Roda razvio ČUDOvišnu igru koja djecu uči – društvenom aktivizmu!

Kao što su Šegrt Hlapić i družina dosadašnje generacije učili prometnim znakovima, tako će možda i čudovišta Gamechuckove Avanture koje je ilustrirao Zlatko Druško, poznat po radu na Letećim medvjedićima, odgojiti neke nove.

Startupi i poslovanje

Nakon rada u Amazonu i Memgraphu, Marin i Matej osigurali 3 milijuna kuna za “tražilicu video i audio sadržaja”

Jedan je za vrijeme studiranja na FER-u bio drugom mentor u srednjoj školi, ali tek ih je Marinovo iskustvo u Amazonu i problem na koji je naletio potaknulo da pokrenu zajednički startup na relaciji Zagreb-Vancouver.

Novost

HAVC prvi put raspisao natječaj za poticanje razvoja i proizvodnje videoigara

Hrvatski gaming studiji dobili su još jednu priliku za financiranje svojih projekata i to u Hrvatskoj!

Intervju

Photomath ima tim specijaliziran za animirane instrukcije koje se programiraju? I to bez pisanja koda?

Jeste li znali da čak 60% učenika koristi video za pomoć pri učenju matematike? Photomath danas nudi i vizualni način učenja matematike pomoću animiranih instrukcija. Uz njih korisnik ima dojam kao da pred sobom ima instruktora matematike, a mi smo provjerili kako se takve animacije uopće kreiraju uz Andriju Ražnatovića i Janu Čičko.

Startupi i poslovanje

Omega software postaje dio M SAN grupacije

I službeno je potvrđeno, drugi najveći sistemski integrator u Hrvatskoj, King ICT u sastavu grupacije M SAN, preuzeo je Omega software.