Pod vodstvom Marka Velića, Photomathov AI tim razvio je "state-of-the-art" model strojnog učenja

Pod vodstvom Marka Velića, Photomathov AI tim razvio je “state-of-the-art” model strojnog učenja

Photomathov AI tim je u jedinstvenoj poziciji na tržištu da mogu birati raditi u nekoliko istraživačkih smjerova i to na izradi svjetski popularnog proizvoda, s velikim brojem korisnika i podataka. Kako to izgleda u praksi saznali smo od glavnog i odgovornog - Marka Velića.

Photomathov tim je početkom ove godine postao bogatiji za jednog ključnog renomiranog stručnjaka. Marko Velić stigao je u Photomath iz Facebooka u Londonu, gdje je radio kao Engineering Manager u Advertising timu koji se bavi primjenom strojnog učenja za personalizaciju oglasa na FB platformama. Osim recentnog, njegovo iskustvo proteže se kroz 15 godina profesionalne karijere – od poduzetništva i startupa, freelance kodiranja, akademije, rada u državnoj firmi do velikih korporacija.

“U Photomathu se unutar AI tima otvara niz istraživačkih smjerova iz područja računalnog vida, obrade prirodnog jezika, Recommender sustava i dr., što je rijetkost na tržištu rada.” Foto: Marin Pavelić

Međutim, čak i kada znači otići od diva poput Facebooka, prilika raditi u hrvatskom startupu svjetske razine, uz vrhunske inženjere, nije nešto što se propušta. Bilo je vrijedno povratka kući, kaže Marko, odnedavno u novoj ulozi kao Photomathov Director of Engineering. U proteklih pola godine tako je tim pod njegovim vodstvom razvijao model koji će zamijeniti trenutni skup tehnologija koje se koriste za interpretaciju slike u matematički izraz, a koji će biti ključan pomak za Photomath aplikaciju.

Radi se o kompleksnom modelu strojnog učenja koji je state-of-the-art i kao takav kombinira više tehnika koje se inače primjenjuju kod neuronskih mreža.

Trenutno nismo uspjeli naći da je itko stavljao u produkciju tako kompleksan model (postojeći out-of-the-box sustavi za serviranje modela stojnog učenja ne podržavaju tako nešto), a da je ujedno i skalabilno za naše potrebe. To je izazov s kojim se nekoliko mjeseci borilo čak dvanaest ljudi u našem timu i upravo ovih dana skaliramo stvar u produkciji.

Taj novi pristup nam omogućuje veću točnost, bolje korisničko iskustvo i lakše proširivanje na nove domene matematičkih problema. Primjerice, da podržimo zadatke iz geometrije i slično. Sustav je par tjedana u produkciji i već sada vidimo značajne pozitivne pomake u svim relevantnim metrikama koje pratimo.

No, vratimo se korak unatrag. Mnogi nisu upoznati s detaljima kako i što radi AI tim u Photomathu pa ni što je potrebno da bi jedna naizgled jednostavna aplikacija dostavila matematičke postupke na ekrane korisnika u milisekundama.

“U Photomathu se unutar AI tima otvara niz istraživačkih smjerova iz područja računalnog vida, obrade prirodnog jezika, Recommender sustava i dr., što je rijetkost na tržištu rada.” Foto: Marin Pavelić

Od obrade prirodnog jezika, računalnog vida do sustava preporuke

Jedan od razloga zašto je Photomath danas tako uspješan krije se upravo u umjetnoj inteligenciji odnosno rezultatima inženjera koji su na njoj radili. Tim zadužen za AI u Photomathu bavi se istraživanjem i razvojem tehnologija temeljenih na strojnom učenju, a koje pomažu optimizirati kako aplikaciju tako i različite interne procese.

Jedan od glavnih primjera kako to funkcionira u okviru aplikacije je bolje razumijevanje matematičkih problema koje korisnici postavljaju – da li korištenjem naprednijeg “računalnog vida” ili pak uvođenjem nekih potpuno novih načina razumijevanja korisničkog inputa kao što je razumijevanje teksta ili glasa. Marko pojašnjava:

Ako se zadržimo samo na slikama, tu je već puno izazova i načina na koje možemo taj dio poboljšati. Od veće točnosti “čitanja” formula pa do segmentacije slike i otvaranja novih UX mogućnosti u samoj aplikaciji, npr. mogućnost da korisnik na ekranu u realnom vremenu dobije segmentaciju cijele scene u koju je uperio mobilni uređaj (ili u budućnosti AR naočale) te onda odabere za koji dio formule želi rješenje ili pak da mu se provjeri rješenje koje je sam napisao u bilježnici.

Jedan od velikih i ambicioznih ciljeva je i razumijevanje matematičkih problema koji su opisani riječima odnosno glasom i tu već imaju neke vrlo zanimljive rezultate, iako je to još u debeloj fazi istraživanja, dodaje.

Photomathovi ML inženjeri pripremili su vodič s preporukama najboljih tečajeva, blogova, videa, knjiga i drugih materijala za sve koji žele započeti svoju karijeru u AI/ML području!

Druge primjene AI-ja unutar Photomathov tima tiču se raznih optimizacija koje rade za svoje interne procese ili vanjske suradnike koji rješavaju matematičke zadatke. Pomoću strojnog učenja mogu bolje optimizirati “marketplace zadataka” koji imaju te omogućiti brži i efikasniji rad rješavača. Dodatno, primjene su moguće i u serviranju sadržaja unutar aplikacije.

Primjerice, možemo napraviti sustav za preporučivanje sadržaja (zadataka) koji će korisnicima dati nove smjerove za daljnje učenje. To sve onda može i biti personalizirano, možemo identificirati koje matematičko gradivo korisnik treba bolje utvrditi jer je to preduvjet za neku sljedeću razinu znanja itd.

Danas većina AI inovacija u Photomathu dolazi od samih članova tima

Činjenica da unutar Photomathovog AI tima inženjeri mogu birati u kojem će od nekoliko istraživačkih smjerova raditi jedinstvena je situacija na našem tržištu, ističe Marko.

Rijetkost je da se na tržištu rada nudi takva mogućnost i još k tome na izradi svjetski popularnog proizvoda koji uz to ima i veliku skalu (broj korisnika i količina podataka). Upravo zbog toga privlačimo vrhunske talente u tom području i u konstantnoj smo potrazi za novim kolegama.

AI je u Photomathu prisutan od samih početaka, no od ove godine Photomath mu se posvetio još više. Kako bi sve podigao na jednu novu razinu, procesi razvoja se mijenjaju i postaju sve strukturiraniji. Danas većina AI inovacija u tvrtki nastaje inicijativom samog AI tima, na kojima potom s produktnim timom i ostalim inženjerskim timovima rade na implementaciji u produkt. Photomathovi inženjeri pri tome imaju veliku razinu autonomije i sami biraju metode rada:

Nemamo religije po pitanju konkretnih alata i programskih jezika – svaki član tima dolazi s nekom svojom pozadinom i iskustvima, tako da kombiniramo što je najbolje za dani projekt ili kontekst. Uglavnom je to Python stack, ali ima i koda u GOu, PyTorch za strojno učenje, ArgoCD, Kubernetes za deployment…

Generalno u Photomathu teže filozofiji end-to-end timova. Što znači da AI tim ima “ownership” od početka do kraja odnosno da unutar jednog tima pokrivaju sve – od podatkovnog inženjerstva, treniranja ML modela do deploymenta, produkcije i održavanja.

Kako Marko primjenjuje svoja iskustva iz Facebooka – u Photomathu?

Marko: “Trenutno radimo na nizu projekata koji će imati utjecaja na razne segmente aplikacije i procesa. Primjer je cijeli jedan smjer istraživanja po pitanju sličnosti matematičkih zadataka koji će imati primjenu na nekoliko mjesta u našim sustavima.” Foto: Marin Pavelić

Marko je iza sebe ostavio social diva, no sa sobom je donio vrijedna iskustva o strukturi i organizaciji rada, pogotovo ako uzmemo u obzir da je riječ o tvrtki koja danas zapošljava 59 tisuća ljudi.

Facebook je brutalna inženjerska mašinerija koja je u svojih sedamnaest godina postojanja isprobala razne prakse i vrlo pametni ljudi koji tamo rade su istestirali što i zašto funkcionira, a što ne. To je organizacija koja raste nevjerojatnom brzinom i pravi je izazov uspostaviti taj neki balans iliti “uređeni kaos” koji onda istovremeno osigurava da se sve ne raspadne u tom rastu, ali da se pritom ne ubije kreativnost, inovacija i kreativna sloboda svakog inženjera.

Naravno, potpuno krivo bi bilo samo preslikati sve iste procese u nekoj cargo-cult varijanti, tako da ovdje u Photomathu ipak imamo puno više slobode i puno manje procesa, no neke stvari se od Facebooka, ali i drugih firmi, svakako mogu naučiti.

Jedan od jednostavnih primjera je praksa tjednih 1:1 sastanaka menadžera sa svakim inženjerom. Iako to možda zvuči banalno, takav format omogućuje puno veću posvećenost menadžera svakom članu tima. To je onda sigurno mjesto za diskusiju osjetljivih tema, razgovore o karijeri, razvoju i napredovanju te generalno o raznim temama. Neki od drugih primjera su i izrada strategije za cijeli tim, popisivanje praksi rada, više dokumentacije i komunikacije kroz dokumentaciju te sustavni proces feedbacka.

Ostali su inženjerski timovi također počeli polako preuzimati neke od tih praksi i za sada se takva primjena pokazuje dosta dobra, dodaje Marko. “Kad inženjer iz jednog tima samostalno preporuči neki proces ili organizacijski artefakt drugom inženjeru u nekom drugom timu i onda ovi to rado prihvate – to je najbolja potvrda da to nešto zaista ima smisla“, zaključuje.

Napredak inženjera ne mora biti linearan

Timovi u Photomathu općenito vrlo usko surađuju, ne samo kroz primjenu dobrih praksi, već i kroz razvoj koji je usmjeren ka istom cilju – završnom rješenju koje će korisnicima omogućiti lakše razumijevanje matematičkih problema.

App tim je taj koji u konačnici konzumira ono što proizvede AI tim – sam API, a to je sve deployano na infrastrukturu koju drži naš centralni DevOps/Infrastructure tim. Mjerenje učinkovitosti našeg novog modela će odraditi naš Data Analytics tim koji će analizirati kako se novo korisničko iskustvo odražava na krajnje korisnike, a Core tim nam pomaže evaluirati modele i popunjava rupe koje AI tim još uvijek ima u smislu generalnog software development kadra.

Upravo zato AI tim trenutno ne traži samo inženjere s kompetencijama u području strojnog učenja, već u maniri end-to-end tima zapošljavaju i fullstack inženjere, DevOps inženjere, Data inženjere… na svim razinama senioriteta. Trenutno u AI timu traže DevOps EngineeraProduct ManageraData EngineeraEngineering Managera.

Već imaju 7 studenata u timu, od kojih će oni na zadnjim godinama nastaviti raditi kao juniori. Naravno, za uspješno mentoriranje tog mladog kadra trebaju i jake seniore, a kako raste tim raste i potreba za inženjerskim menadžerima i voditeljima timova.

Obično se najiskusniji ljudi nađu u tim pozicijama, no ne žele se svi nužno baviti ljudima ili organizacijom pa se često dogodi da se taj dio posla zanemari zbog fokusa na tehničke izazove. Tu se događa ta podjela gdje inženjeri trebaju odlučiti što zapravo žele raditi jer oboje istovremeno (kodiranje i vođenje većeg tima) postaje neodrživo.

Zbog toga i uvodimo dva karijerna smjera, jedan za individualne inženjere i drugi za menadžere. Ideja je da ljudi odaberu koji smjer ih više zanima i u kojem će se dalje razvijati te da ih uputimo kako prelazak u menadžerske vode nije jedini način napredovanja. Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.

U okviru toga će provoditi i Management akademiju, a kroz koju će i Marko održati neka od predavanja i imati ulogu mentora za nove menadžere i voditelje.

Još detalja o tome što sve radi AI tim u Photomathu, uz navođenje primjera i problema koje rješavaju, moći ćete saznati i 5. listopada na četvrtom Photomath Talku: Behind the Screens, besplatnom online meetupu za tech zajednicu. Iskoristite priliku pitati sve što vas zanima! Na događaj se možete prijaviti putem ovog linka.

Photomath Talks: Behind the Screens #4

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

  1. Ana

    Ana

    01. 10. 2021. u 11:24 am Odgovori

    Odličan uvid u Photomath funkcioniranje. Posebno mi se sviđa dio vezano za napredovanje i promjenu smjera “Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.” Bravo Photomath! I hvala Netokraciji na još jednom zanimljivom članku!

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Startupi i poslovanje

Startup 101 program BIRD inkubatora obvezna je početnica za sve koji žele ideju pretvoriti u djelo

U organizaciji BIRD inkubatora uskoro kreće edukacijski program Startup 101 koji je osmišljen kako bi prenio osnove svima koji razmišljaju o pokretanju startupa, a nisu sigurni što bi to sve od njih zahtijevalo.

Intervju

Kako je nastao prvi kolektivni ugovor u gaming industriji u Hrvatskoj?

Potpisivanjem prvog kolektivnog ugovora hrvatske gaming industrije, Gamechuck tim je ostvario mirniji san, a prema nekima i "vrli novi svijet".

Novost

Zoran Božičević novi je Delivery direktor u Poslovnoj inteligenciji

Ako ste iole aktivni na društvenim mrežama kao IT-jevac, već ste naletjeli na Zorana Božičevića. Dalje ćete ga imati priliku pratiti u Poslovnoj inteligenciji u koju dolazi iz Combisa.

Što ste propustili

Novost

Zoran Božičević novi je Delivery direktor u Poslovnoj inteligenciji

Ako ste iole aktivni na društvenim mrežama kao IT-jevac, već ste naletjeli na Zorana Božičevića. Dalje ćete ga imati priliku pratiti u Poslovnoj inteligenciji u koju dolazi iz Combisa.

Startupi i poslovanje

Hrvatski Underline Science uz pomoć SCV-a i nizozemskog VC fonda zatvorio rundu od 2.5 milijuna dolara

Digitalna videoteka hrvatskog startupa Underline Science osvojila je priznata svjetska sveučilišta i organizacije, a potom i VC fondove.

Startupi i poslovanje

Dva američka healthtech startupa povjerila su nam razvoj svoje platforme, što smo napravili?

Healthtech je postao jedan od najperspektivnijih tech segmenata, a oni stručnjaci koji sada rade na takvim rješenjima ovladat će znanjima koja će biti bitna za čitav zdravstveni sektor ubuduće. Neki od tih ljudi su definitivno stručnjaci hrvatskog Kodiusa koji iza sebe već ima nekoliko značajnih healthtech projekata. Saznali smo više o tehničkim i regulativnim detaljima izgradnje takvih rješenja.

Startupi i poslovanje

Manje investicija, rezanje troškova, otpuštanja… kako će se globalna startup kriza odraziti na hrvatske startupe?

Imaju li se hrvatski startupi čega bojati u nadolazećoj startup krizi? Kako su ih okolnosti podizanja poslovanja u okruženju koje se nikad nije moglo podičiti velikim investicijama zapravo najbolje pripremile na sve vrste nepovoljnih uvjeta? Otkrivam više u razgovoru s hrvatskim osnivačima i stručnjakom za investicije udruge Cro Startup, uz osvrt i na vlastita startup iskustva...

Startupi i poslovanje

Može li javna nabava biti lakša? Nova aplikacija ma.te.a opremila se planovima, tenderima i analizama

U protekle 3 godine putem javne nabave kupljeno je preko 140 milijardi kuna vrijednosti usluga, roba i radova - a možda bi bilo još i više da oni koji nude/traže imaju jedno mjesto gdje mogu pratiti sve potrebno. Može li nova aplikacija tvrtke PJR donijeti promjenu?

Intervju

Što radi tester, a što Quality Assurance inženjer – QA sudjeluje u cijeloj igri, dok tester brani gol od bugova

Kako se QA inženjer razlikuje od testera, što zapravo radi i zašto mu posao počinje već kod čitanja dokumentacije te kako se zaljubiti u taj posao ispričale su Ivana i Jelena, QA inženjerke iz Undabota.