Pod vodstvom Marka Velića, Photomathov AI tim razvio je “state-of-the-art” model strojnog učenja

Photomathov tim je početkom ove godine postao bogatiji za jednog ključnog renomiranog stručnjaka. Marko Velić stigao je u Photomath iz Facebooka u Londonu, gdje je radio kao Engineering Manager u Advertising timu koji se bavi primjenom strojnog učenja za personalizaciju oglasa na FB platformama. Osim recentnog, njegovo iskustvo proteže se kroz 15 godina profesionalne karijere – od poduzetništva i startupa, freelance kodiranja, akademije, rada u državnoj firmi do velikih korporacija.

Međutim, čak i kada znači otići od diva poput Facebooka, prilika raditi u hrvatskom startupu svjetske razine, uz vrhunske inženjere, nije nešto što se propušta. Bilo je vrijedno povratka kući, kaže Marko, odnedavno u novoj ulozi kao Photomathov Director of Engineering. U proteklih pola godine tako je tim pod njegovim vodstvom razvijao model koji će zamijeniti trenutni skup tehnologija koje se koriste za interpretaciju slike u matematički izraz, a koji će biti ključan pomak za Photomath aplikaciju.

Radi se o kompleksnom modelu strojnog učenja koji je state-of-the-art i kao takav kombinira više tehnika koje se inače primjenjuju kod neuronskih mreža.

Trenutno nismo uspjeli naći da je itko stavljao u produkciju tako kompleksan model (postojeći out-of-the-box sustavi za serviranje modela stojnog učenja ne podržavaju tako nešto), a da je ujedno i skalabilno za naše potrebe. To je izazov s kojim se nekoliko mjeseci borilo čak dvanaest ljudi u našem timu i upravo ovih dana skaliramo stvar u produkciji.

Taj novi pristup nam omogućuje veću točnost, bolje korisničko iskustvo i lakše proširivanje na nove domene matematičkih problema. Primjerice, da podržimo zadatke iz geometrije i slično. Sustav je par tjedana u produkciji i već sada vidimo značajne pozitivne pomake u svim relevantnim metrikama koje pratimo.

No, vratimo se korak unatrag. Mnogi nisu upoznati s detaljima kako i što radi AI tim u Photomathu pa ni što je potrebno da bi jedna naizgled jednostavna aplikacija dostavila matematičke postupke na ekrane korisnika u milisekundama.

Od obrade prirodnog jezika, računalnog vida do sustava preporuke

Jedan od razloga zašto je Photomath danas tako uspješan krije se upravo u umjetnoj inteligenciji odnosno rezultatima inženjera koji su na njoj radili. Tim zadužen za AI u Photomathu bavi se istraživanjem i razvojem tehnologija temeljenih na strojnom učenju, a koje pomažu optimizirati kako aplikaciju tako i različite interne procese.

Jedan od glavnih primjera kako to funkcionira u okviru aplikacije je bolje razumijevanje matematičkih problema koje korisnici postavljaju – da li korištenjem naprednijeg “računalnog vida” ili pak uvođenjem nekih potpuno novih načina razumijevanja korisničkog inputa kao što je razumijevanje teksta ili glasa. Marko pojašnjava:

Ako se zadržimo samo na slikama, tu je već puno izazova i načina na koje možemo taj dio poboljšati. Od veće točnosti “čitanja” formula pa do segmentacije slike i otvaranja novih UX mogućnosti u samoj aplikaciji, npr. mogućnost da korisnik na ekranu u realnom vremenu dobije segmentaciju cijele scene u koju je uperio mobilni uređaj (ili u budućnosti AR naočale) te onda odabere za koji dio formule želi rješenje ili pak da mu se provjeri rješenje koje je sam napisao u bilježnici.

Jedan od velikih i ambicioznih ciljeva je i razumijevanje matematičkih problema koji su opisani riječima odnosno glasom i tu već imaju neke vrlo zanimljive rezultate, iako je to još u debeloj fazi istraživanja, dodaje.

Photomathovi ML inženjeri pripremili su vodič s preporukama najboljih tečajeva, blogova, videa, knjiga i drugih materijala za sve koji žele započeti svoju karijeru u AI/ML području!

Druge primjene AI-ja unutar Photomathov tima tiču se raznih optimizacija koje rade za svoje interne procese ili vanjske suradnike koji rješavaju matematičke zadatke. Pomoću strojnog učenja mogu bolje optimizirati “marketplace zadataka” koji imaju te omogućiti brži i efikasniji rad rješavača. Dodatno, primjene su moguće i u serviranju sadržaja unutar aplikacije.

Primjerice, možemo napraviti sustav za preporučivanje sadržaja (zadataka) koji će korisnicima dati nove smjerove za daljnje učenje. To sve onda može i biti personalizirano, možemo identificirati koje matematičko gradivo korisnik treba bolje utvrditi jer je to preduvjet za neku sljedeću razinu znanja itd.

Danas većina AI inovacija u Photomathu dolazi od samih članova tima

Činjenica da unutar Photomathovog AI tima inženjeri mogu birati u kojem će od nekoliko istraživačkih smjerova raditi jedinstvena je situacija na našem tržištu, ističe Marko.

Rijetkost je da se na tržištu rada nudi takva mogućnost i još k tome na izradi svjetski popularnog proizvoda koji uz to ima i veliku skalu (broj korisnika i količina podataka). Upravo zbog toga privlačimo vrhunske talente u tom području i u konstantnoj smo potrazi za novim kolegama.

AI je u Photomathu prisutan od samih početaka, no od ove godine Photomath mu se posvetio još više. Kako bi sve podigao na jednu novu razinu, procesi razvoja se mijenjaju i postaju sve strukturiraniji. Danas većina AI inovacija u tvrtki nastaje inicijativom samog AI tima, na kojima potom s produktnim timom i ostalim inženjerskim timovima rade na implementaciji u produkt. Photomathovi inženjeri pri tome imaju veliku razinu autonomije i sami biraju metode rada:

Nemamo religije po pitanju konkretnih alata i programskih jezika – svaki član tima dolazi s nekom svojom pozadinom i iskustvima, tako da kombiniramo što je najbolje za dani projekt ili kontekst. Uglavnom je to Python stack, ali ima i koda u GOu, PyTorch za strojno učenje, ArgoCD, Kubernetes za deployment…

Generalno u Photomathu teže filozofiji end-to-end timova. Što znači da AI tim ima “ownership” od početka do kraja odnosno da unutar jednog tima pokrivaju sve – od podatkovnog inženjerstva, treniranja ML modela do deploymenta, produkcije i održavanja.

Kako Marko primjenjuje svoja iskustva iz Facebooka – u Photomathu?

Marko je iza sebe ostavio social diva, no sa sobom je donio vrijedna iskustva o strukturi i organizaciji rada, pogotovo ako uzmemo u obzir da je riječ o tvrtki koja danas zapošljava 59 tisuća ljudi.

Facebook je brutalna inženjerska mašinerija koja je u svojih sedamnaest godina postojanja isprobala razne prakse i vrlo pametni ljudi koji tamo rade su istestirali što i zašto funkcionira, a što ne. To je organizacija koja raste nevjerojatnom brzinom i pravi je izazov uspostaviti taj neki balans iliti “uređeni kaos” koji onda istovremeno osigurava da se sve ne raspadne u tom rastu, ali da se pritom ne ubije kreativnost, inovacija i kreativna sloboda svakog inženjera.

Naravno, potpuno krivo bi bilo samo preslikati sve iste procese u nekoj cargo-cult varijanti, tako da ovdje u Photomathu ipak imamo puno više slobode i puno manje procesa, no neke stvari se od Facebooka, ali i drugih firmi, svakako mogu naučiti.

Jedan od jednostavnih primjera je praksa tjednih 1:1 sastanaka menadžera sa svakim inženjerom. Iako to možda zvuči banalno, takav format omogućuje puno veću posvećenost menadžera svakom članu tima. To je onda sigurno mjesto za diskusiju osjetljivih tema, razgovore o karijeri, razvoju i napredovanju te generalno o raznim temama. Neki od drugih primjera su i izrada strategije za cijeli tim, popisivanje praksi rada, više dokumentacije i komunikacije kroz dokumentaciju te sustavni proces feedbacka.

Ostali su inženjerski timovi također počeli polako preuzimati neke od tih praksi i za sada se takva primjena pokazuje dosta dobra, dodaje Marko. “Kad inženjer iz jednog tima samostalno preporuči neki proces ili organizacijski artefakt drugom inženjeru u nekom drugom timu i onda ovi to rado prihvate – to je najbolja potvrda da to nešto zaista ima smisla“, zaključuje.

Napredak inženjera ne mora biti linearan

Timovi u Photomathu općenito vrlo usko surađuju, ne samo kroz primjenu dobrih praksi, već i kroz razvoj koji je usmjeren ka istom cilju – završnom rješenju koje će korisnicima omogućiti lakše razumijevanje matematičkih problema.

App tim je taj koji u konačnici konzumira ono što proizvede AI tim – sam API, a to je sve deployano na infrastrukturu koju drži naš centralni DevOps/Infrastructure tim. Mjerenje učinkovitosti našeg novog modela će odraditi naš Data Analytics tim koji će analizirati kako se novo korisničko iskustvo odražava na krajnje korisnike, a Core tim nam pomaže evaluirati modele i popunjava rupe koje AI tim još uvijek ima u smislu generalnog software development kadra.

Upravo zato AI tim trenutno ne traži samo inženjere s kompetencijama u području strojnog učenja, već u maniri end-to-end tima zapošljavaju i fullstack inženjere, DevOps inženjere, Data inženjere… na svim razinama senioriteta. Trenutno u AI timu traže DevOps Engineera, Product Managera, Data Engineera i Engineering Managera.

Već imaju 7 studenata u timu, od kojih će oni na zadnjim godinama nastaviti raditi kao juniori. Naravno, za uspješno mentoriranje tog mladog kadra trebaju i jake seniore, a kako raste tim raste i potreba za inženjerskim menadžerima i voditeljima timova.

Obično se najiskusniji ljudi nađu u tim pozicijama, no ne žele se svi nužno baviti ljudima ili organizacijom pa se često dogodi da se taj dio posla zanemari zbog fokusa na tehničke izazove. Tu se događa ta podjela gdje inženjeri trebaju odlučiti što zapravo žele raditi jer oboje istovremeno (kodiranje i vođenje većeg tima) postaje neodrživo.

Zbog toga i uvodimo dva karijerna smjera, jedan za individualne inženjere i drugi za menadžere. Ideja je da ljudi odaberu koji smjer ih više zanima i u kojem će se dalje razvijati te da ih uputimo kako prelazak u menadžerske vode nije jedini način napredovanja. Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.

U okviru toga će provoditi i Management akademiju, a kroz koju će i Marko održati neka od predavanja i imati ulogu mentora za nove menadžere i voditelje.

Još detalja o tome što sve radi AI tim u Photomathu, uz navođenje primjera i problema koje rješavaju, moći ćete saznati i 5. listopada na četvrtom Photomath Talku: Behind the Screens, besplatnom online meetupu za tech zajednicu. Iskoristite priliku pitati sve što vas zanima! Na događaj se možete prijaviti putem ovog linka.

Photomath Talks: Behind the Screens #4