Pod vodstvom Marka Velića, Photomathov AI tim razvio je "state-of-the-art" model strojnog učenja

Infobip ❤️ Netokracijašto akvizicija znači za vas - i nas?

Pod vodstvom Marka Velića, Photomathov AI tim razvio je “state-of-the-art” model strojnog učenja

Photomathov AI tim je u jedinstvenoj poziciji na tržištu da mogu birati raditi u nekoliko istraživačkih smjerova i to na izradi svjetski popularnog proizvoda, s velikim brojem korisnika i podataka. Kako to izgleda u praksi saznali smo od glavnog i odgovornog - Marka Velića.

Photomathov tim je početkom ove godine postao bogatiji za jednog ključnog renomiranog stručnjaka. Marko Velić stigao je u Photomath iz Facebooka u Londonu, gdje je radio kao Engineering Manager u Advertising timu koji se bavi primjenom strojnog učenja za personalizaciju oglasa na FB platformama. Osim recentnog, njegovo iskustvo proteže se kroz 15 godina profesionalne karijere – od poduzetništva i startupa, freelance kodiranja, akademije, rada u državnoj firmi do velikih korporacija.

“U Photomathu se unutar AI tima otvara niz istraživačkih smjerova iz područja računalnog vida, obrade prirodnog jezika, Recommender sustava i dr., što je rijetkost na tržištu rada.” Foto: Marin Pavelić

Međutim, čak i kada znači otići od diva poput Facebooka, prilika raditi u hrvatskom startupu svjetske razine, uz vrhunske inženjere, nije nešto što se propušta. Bilo je vrijedno povratka kući, kaže Marko, odnedavno u novoj ulozi kao Photomathov Director of Engineering. U proteklih pola godine tako je tim pod njegovim vodstvom razvijao model koji će zamijeniti trenutni skup tehnologija koje se koriste za interpretaciju slike u matematički izraz, a koji će biti ključan pomak za Photomath aplikaciju.

Radi se o kompleksnom modelu strojnog učenja koji je state-of-the-art i kao takav kombinira više tehnika koje se inače primjenjuju kod neuronskih mreža.

Trenutno nismo uspjeli naći da je itko stavljao u produkciju tako kompleksan model (postojeći out-of-the-box sustavi za serviranje modela stojnog učenja ne podržavaju tako nešto), a da je ujedno i skalabilno za naše potrebe. To je izazov s kojim se nekoliko mjeseci borilo čak dvanaest ljudi u našem timu i upravo ovih dana skaliramo stvar u produkciji.

Taj novi pristup nam omogućuje veću točnost, bolje korisničko iskustvo i lakše proširivanje na nove domene matematičkih problema. Primjerice, da podržimo zadatke iz geometrije i slično. Sustav je par tjedana u produkciji i već sada vidimo značajne pozitivne pomake u svim relevantnim metrikama koje pratimo.

No, vratimo se korak unatrag. Mnogi nisu upoznati s detaljima kako i što radi AI tim u Photomathu pa ni što je potrebno da bi jedna naizgled jednostavna aplikacija dostavila matematičke postupke na ekrane korisnika u milisekundama.

“U Photomathu se unutar AI tima otvara niz istraživačkih smjerova iz područja računalnog vida, obrade prirodnog jezika, Recommender sustava i dr., što je rijetkost na tržištu rada.” Foto: Marin Pavelić

Od obrade prirodnog jezika, računalnog vida do sustava preporuke

Jedan od razloga zašto je Photomath danas tako uspješan krije se upravo u umjetnoj inteligenciji odnosno rezultatima inženjera koji su na njoj radili. Tim zadužen za AI u Photomathu bavi se istraživanjem i razvojem tehnologija temeljenih na strojnom učenju, a koje pomažu optimizirati kako aplikaciju tako i različite interne procese.

Jedan od glavnih primjera kako to funkcionira u okviru aplikacije je bolje razumijevanje matematičkih problema koje korisnici postavljaju – da li korištenjem naprednijeg “računalnog vida” ili pak uvođenjem nekih potpuno novih načina razumijevanja korisničkog inputa kao što je razumijevanje teksta ili glasa. Marko pojašnjava:

Ako se zadržimo samo na slikama, tu je već puno izazova i načina na koje možemo taj dio poboljšati. Od veće točnosti “čitanja” formula pa do segmentacije slike i otvaranja novih UX mogućnosti u samoj aplikaciji, npr. mogućnost da korisnik na ekranu u realnom vremenu dobije segmentaciju cijele scene u koju je uperio mobilni uređaj (ili u budućnosti AR naočale) te onda odabere za koji dio formule želi rješenje ili pak da mu se provjeri rješenje koje je sam napisao u bilježnici.

Jedan od velikih i ambicioznih ciljeva je i razumijevanje matematičkih problema koji su opisani riječima odnosno glasom i tu već imaju neke vrlo zanimljive rezultate, iako je to još u debeloj fazi istraživanja, dodaje.

Photomathovi ML inženjeri pripremili su vodič s preporukama najboljih tečajeva, blogova, videa, knjiga i drugih materijala za sve koji žele započeti svoju karijeru u AI/ML području!

Druge primjene AI-ja unutar Photomathov tima tiču se raznih optimizacija koje rade za svoje interne procese ili vanjske suradnike koji rješavaju matematičke zadatke. Pomoću strojnog učenja mogu bolje optimizirati “marketplace zadataka” koji imaju te omogućiti brži i efikasniji rad rješavača. Dodatno, primjene su moguće i u serviranju sadržaja unutar aplikacije.

Primjerice, možemo napraviti sustav za preporučivanje sadržaja (zadataka) koji će korisnicima dati nove smjerove za daljnje učenje. To sve onda može i biti personalizirano, možemo identificirati koje matematičko gradivo korisnik treba bolje utvrditi jer je to preduvjet za neku sljedeću razinu znanja itd.

Danas većina AI inovacija u Photomathu dolazi od samih članova tima

Činjenica da unutar Photomathovog AI tima inženjeri mogu birati u kojem će od nekoliko istraživačkih smjerova raditi jedinstvena je situacija na našem tržištu, ističe Marko.

Rijetkost je da se na tržištu rada nudi takva mogućnost i još k tome na izradi svjetski popularnog proizvoda koji uz to ima i veliku skalu (broj korisnika i količina podataka). Upravo zbog toga privlačimo vrhunske talente u tom području i u konstantnoj smo potrazi za novim kolegama.

AI je u Photomathu prisutan od samih početaka, no od ove godine Photomath mu se posvetio još više. Kako bi sve podigao na jednu novu razinu, procesi razvoja se mijenjaju i postaju sve strukturiraniji. Danas većina AI inovacija u tvrtki nastaje inicijativom samog AI tima, na kojima potom s produktnim timom i ostalim inženjerskim timovima rade na implementaciji u produkt. Photomathovi inženjeri pri tome imaju veliku razinu autonomije i sami biraju metode rada:

Nemamo religije po pitanju konkretnih alata i programskih jezika – svaki član tima dolazi s nekom svojom pozadinom i iskustvima, tako da kombiniramo što je najbolje za dani projekt ili kontekst. Uglavnom je to Python stack, ali ima i koda u GOu, PyTorch za strojno učenje, ArgoCD, Kubernetes za deployment…

Generalno u Photomathu teže filozofiji end-to-end timova. Što znači da AI tim ima “ownership” od početka do kraja odnosno da unutar jednog tima pokrivaju sve – od podatkovnog inženjerstva, treniranja ML modela do deploymenta, produkcije i održavanja.

Kako Marko primjenjuje svoja iskustva iz Facebooka – u Photomathu?

Marko: “Trenutno radimo na nizu projekata koji će imati utjecaja na razne segmente aplikacije i procesa. Primjer je cijeli jedan smjer istraživanja po pitanju sličnosti matematičkih zadataka koji će imati primjenu na nekoliko mjesta u našim sustavima.” Foto: Marin Pavelić

Marko je iza sebe ostavio social diva, no sa sobom je donio vrijedna iskustva o strukturi i organizaciji rada, pogotovo ako uzmemo u obzir da je riječ o tvrtki koja danas zapošljava 59 tisuća ljudi.

Facebook je brutalna inženjerska mašinerija koja je u svojih sedamnaest godina postojanja isprobala razne prakse i vrlo pametni ljudi koji tamo rade su istestirali što i zašto funkcionira, a što ne. To je organizacija koja raste nevjerojatnom brzinom i pravi je izazov uspostaviti taj neki balans iliti “uređeni kaos” koji onda istovremeno osigurava da se sve ne raspadne u tom rastu, ali da se pritom ne ubije kreativnost, inovacija i kreativna sloboda svakog inženjera.

Naravno, potpuno krivo bi bilo samo preslikati sve iste procese u nekoj cargo-cult varijanti, tako da ovdje u Photomathu ipak imamo puno više slobode i puno manje procesa, no neke stvari se od Facebooka, ali i drugih firmi, svakako mogu naučiti.

Jedan od jednostavnih primjera je praksa tjednih 1:1 sastanaka menadžera sa svakim inženjerom. Iako to možda zvuči banalno, takav format omogućuje puno veću posvećenost menadžera svakom članu tima. To je onda sigurno mjesto za diskusiju osjetljivih tema, razgovore o karijeri, razvoju i napredovanju te generalno o raznim temama. Neki od drugih primjera su i izrada strategije za cijeli tim, popisivanje praksi rada, više dokumentacije i komunikacije kroz dokumentaciju te sustavni proces feedbacka.

Ostali su inženjerski timovi također počeli polako preuzimati neke od tih praksi i za sada se takva primjena pokazuje dosta dobra, dodaje Marko. “Kad inženjer iz jednog tima samostalno preporuči neki proces ili organizacijski artefakt drugom inženjeru u nekom drugom timu i onda ovi to rado prihvate – to je najbolja potvrda da to nešto zaista ima smisla“, zaključuje.

Napredak inženjera ne mora biti linearan

Timovi u Photomathu općenito vrlo usko surađuju, ne samo kroz primjenu dobrih praksi, već i kroz razvoj koji je usmjeren ka istom cilju – završnom rješenju koje će korisnicima omogućiti lakše razumijevanje matematičkih problema.

App tim je taj koji u konačnici konzumira ono što proizvede AI tim – sam API, a to je sve deployano na infrastrukturu koju drži naš centralni DevOps/Infrastructure tim. Mjerenje učinkovitosti našeg novog modela će odraditi naš Data Analytics tim koji će analizirati kako se novo korisničko iskustvo odražava na krajnje korisnike, a Core tim nam pomaže evaluirati modele i popunjava rupe koje AI tim još uvijek ima u smislu generalnog software development kadra.

Upravo zato AI tim trenutno ne traži samo inženjere s kompetencijama u području strojnog učenja, već u maniri end-to-end tima zapošljavaju i fullstack inženjere, DevOps inženjere, Data inženjere… na svim razinama senioriteta. Trenutno u AI timu traže DevOps EngineeraProduct ManageraData EngineeraEngineering Managera.

Već imaju 7 studenata u timu, od kojih će oni na zadnjim godinama nastaviti raditi kao juniori. Naravno, za uspješno mentoriranje tog mladog kadra trebaju i jake seniore, a kako raste tim raste i potreba za inženjerskim menadžerima i voditeljima timova.

Obično se najiskusniji ljudi nađu u tim pozicijama, no ne žele se svi nužno baviti ljudima ili organizacijom pa se često dogodi da se taj dio posla zanemari zbog fokusa na tehničke izazove. Tu se događa ta podjela gdje inženjeri trebaju odlučiti što zapravo žele raditi jer oboje istovremeno (kodiranje i vođenje većeg tima) postaje neodrživo.

Zbog toga i uvodimo dva karijerna smjera, jedan za individualne inženjere i drugi za menadžere. Ideja je da ljudi odaberu koji smjer ih više zanima i u kojem će se dalje razvijati te da ih uputimo kako prelazak u menadžerske vode nije jedini način napredovanja. Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.

U okviru toga će provoditi i Management akademiju, a kroz koju će i Marko održati neka od predavanja i imati ulogu mentora za nove menadžere i voditelje.

Još detalja o tome što sve radi AI tim u Photomathu, uz navođenje primjera i problema koje rješavaju, moći ćete saznati i 5. listopada na četvrtom Photomath Talku: Behind the Screens, besplatnom online meetupu za tech zajednicu. Iskoristite priliku pitati sve što vas zanima! Na događaj se možete prijaviti putem ovog linka.

Photomath Talks: Behind the Screens #4

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

  1. Ana

    Ana

    01. 10. 2021. u 11:24 am Odgovori

    Odličan uvid u Photomath funkcioniranje. Posebno mi se sviđa dio vezano za napredovanje i promjenu smjera “Ako netko postane voditelj tima to nije napredovanje već promjena smjera u karijeri, a onda dalje imamo definirano što znači napredovanje za svaki od tih smjerova.” Bravo Photomath! I hvala Netokraciji na još jednom zanimljivom članku!

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Intervju

“Tata” Angulara o tome što bi danas napravio drugačije i kako instantno ubrzati web aplikacije

Nakon više od 15 godina u Googleu, gdje je inicijalizirao, osmislio i podigao temelje Angulara, jednog od najpoznatijih JavaScript frameworka, a potom usmjerio Googleovu kulturu prema test driven developmentu, Miško Hevery se otisnuo u samostalne vode...

Startupi i poslovanje

Počelo je dvojno iskazivanje cijena! Što to znači za internetske trgovine?

Od danas sve internetske trgovine moraju iskazivati dvojne cijene. Iako na prvu zvuči kao nešto lagano za provesti, taj proces može uključivati product managera, dizajnera, backend i front-end programera. Kako se u tome snalaze mikro i mali poduzetnici koji su često "one man band"?

Kriptovalute i Blockchain

The Ethereum Merge. Kripto svijetu slijedi promjena na koju se čekalo skoro 10 godina

Već dugi niz godina radi se na vjerojatno jednom od najkompleksnijih projekata koji se tiču blockchain tehnologije, a taj dugoiščekivani update za Ethereum blockchain trebao bi izaći sredinom ovog mjeseca.

Što ste propustili

Startupi i poslovanje

Predstavljeni startupi 7. generacije Startup Factoryja. Počinje borba za 800.000 kuna!

U Zagrebačkom inovacijskom centru - ZICER-u predstavljena je sedma generacija Startup Factoryja, prvog hrvatskog akceleracijskog programa za startupe.

Zabava i zanimljivosti

Stiže zlatni Ilija 2.0 – kako je Kontri prošla prva kolekcija NFT-ova?

Tko će imati čast otići s Ilijom Brajkovićem na veganski ručak?

Web aplikacije

UX dizajn koji nije iritantan za korištenje niti zahtjevan za programiranje? Kent C. Dodds kaže – moguće je!

Koga UX dizajn nikada nije naživcirao, taj vjerojatno nije ni bio na internetu. Na Infobip Shiftu 2022 od frontend i backend developera saznali smo konkretne savjete kako stvoriti najbolje korisničko iskustvo na webu.

Intervju

Zašto postati Scrum master i kako se educirati?

Oglasi za posao Scrum mastera postali su svakodnevica, kaže profesionalna Scrum trenerica Ana Roje Ivančić te objašnjava zašto je formalna certifikacija za taj posao nužni minimum i što čini kvalitetnu edukaciju.

Sponzorirano

Kako se u IN2 grupi, koja je ove godine napunila 30, kombiniraju iskustvo i mladost?

Tri desetljeća za jednu IT tvrtku ozbiljan je staž, ali ako gledamo u ljudskim godinama - IN2 grupa tek ulazi u najbolje razdoblje, a to pokazuje njihov pristup radu i ljudima.

Web aplikacije

Najpoznatija edukativna mobilna aplikacija ima – web tim? Upoznajte developere iza Photomathovog Math Expert Marketplacea!

Korisnici često nisu svjesni da je rješenje koje su dobili nakon skeniranja određenog matematičkog zadatka prošlo dalek put po raznim timovima u Photomathu, a još manje da je jedan od tih timova primarno zadužen za web...