Kako je Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Kad se nakon konferencije možete pohvaliti fotografijama na kojima ste s Jensenom Huangom, CEO-om NVIDIA-e, znate da je vaš projekt na dobrom putu. O čemu se radi? Riječ je o Fashion Camu, projektu Styrijinog odjela Data Science koji je nedavno predstavljen u Münchenu, o čemu smo razgovarali s Markom Velićem, voditeljem tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija, kaže Marko Velić, voditelj tima koji radi na razvoju projekta.

Na nedavno održanoj konferenciji NVIDIA GTC Europe 2017 u Münchenu predstavljen je domaći projekt Fashion Cam koji je proizašao iz radionice Styrijinog odjela Data Science. Riječ je o projektu koji je ostvaren u suradnji s austrijskim Willhabenom, platformom za kupnju i prodaju (rabljenih) stvari – njihov pandan Njuškalu, objašnjava Marko Velić, voditelj tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija. To znači da korisnik može na temelju slike dohvatiti slične predmete koji su trenutno u ponudi Willhabena. Također, moguće je da neki trenutni oglas bude polazište za pretragu te se onda dohvate vizualno slični predmeti. To zovemo visual browsing.

Dodaje kako vizualno pretraživanje postaje trend u industriji pretraživača, recimo prije par mjeseci je i eBay u Americi predstavio svoju verziju vizualnog pretraživanja, koje je za sada u beta fazi.

Laska nam da je naš sustav bio u produkciji točno godinu dana ranije. Na projektu radi osam ljudi i konstantno se usavršava. Moda je odabrana kao prva skupina proizvoda koje ćemo obuhvatiti, a na temelju testiranja s Willhabenovim korisnicima. Sada se širimo i na ostale kategorije, poput namještaja, antikviteta, umjetnosti itd.

Nagrada za najbolju poster – prezentaciju u Münchenu

Inače, projekt je u Münchenu bio u konkurenciji s vodećim europskim i svjetskim znanstvenicima, istraživačkim grupama i kompanijama koje se bave AI-jem, a dobio je nagradu za najbolju poster prezentaciju – otuda i fotografija s Jensenom Huangom, CEO-om NVIDIA-e.

To je veliko priznanje za naš gotovo trogodišnji težak rad i potvrda činjenice da radimo R&D na svjetskoj razini. Posebno stoga što nismo primarno znanstveno-istraživačka institucija već samostalni tim koji mora biti cash-flow pozitivan i preživjeti na tržištu. Ostvariti znanstveni doprinos i pritom biti samoodrživ na tržištu je iznimno teško. Primjerice, globalni div i jedan od vodećih AI labosa Deep Mind je prošle godine ostvario gubitak od preko 160 milijuna dolara… U takvoj konkurenciji je jako teško natjecati se.

Kako napraviti dobar machine learning model koji radi na – pravim fotografijama?

Marko je u razgovoru istaknuo kako je bio izazov bio napraviti dobar machine learning model koji će raditi na pravim fotografijama. Pa kako je prevladan?

Objašnjava kako primjerice Amazonov image search sustav pretražuje bazu kataloških fotografija dok stvarne fotografije, odnosno one snimljene u realnim uvjetima predstavljaju puno veći izazov jer korisnici fotografiraju objekte s raznim uređajima, kamerama loše kvalitete, u uvjetima slabog osvjetljenja, u raznim položajima itd.

Taj smo izazov prevladali zahvaljujući velikoj bazi fotografija iz stvarnog svijeta koje smo koristili za učenje modela, ali i zahvaljujući nekolicini algoritamskih trikova koje smo koristili i koji su naš izvorni znanstveni doprinos.

Patentne prijave za rješenja korištena u razvoju Fashion Cama

Zanimalo me i postoje li kod Fashion Cama neke zanimljivosti s tehničke strane.

Naravno, obično se na projektima strojnog učenja koriste velike baze označenih podataka. Taj pristup nazivamo nadzirano (supervised) strojno učenje. Velik izazov za nas bio je postići vizualnu sličnost u rezultatima pretrage jer takve oznake u bazi nemamo. Jedino što smo imali su vrlo grube kategorije proizvoda, npr. “ženska haljina”. No, ako razmislite, ženske haljine mogu biti svakakve, kratke, duge, uske, široke, ležerne, večernje, šarene, jednobojne, na volane, raznih tekstura i materijala itd…

Rezultat Fashion Cama nakon slikanja Jensena Huanga.

Ističe kako je stoga jedan od važnijih doprinosa pronalazak načina na koji treba “rastrančirati duboku konvolucijsku neuronsku mrežu da bi se iz istreniranog modela izvukle one značajke koje opisuju baš takve atribute predmeta tj. odjeće”. Primjerice, kod tenisica i cipela, korisnici su zahtijevali da se unosom fotografije tenisice određenog brenda u rezultatima pojave ostale tenisice istog tog proizvođača.

Klasičan pristup tom problemu spadao bi u domenu detekcije logotipova. No, opet, mi u bazi nismo imali označene lokacije logotipova na tenisicama (bounding box ili pixel-level anotacije). Tu smo opet stavljeni pred velik istraživački izazov i riješili smo ga na način da iz tekstualnih opisa oglasa pronađemo riječi koje nose najviše informacije s obzirom na kategoriju u kojoj se oglas nalazi. Tako su isplivali nazivi brendova ili tipične fraze poput “kožna jakna” i sl.

Te su riječi zatim korištene za fine-tuning modela pri čemu se dogodio fantastičan rezultat, kaže Marko.

Naime, mreže su naučile prepoznavati logotipove čak i ako za njih nemamo eksplicitne oznake za učenje. Za neke tehnike korištene u radu imamo i patentnu prijavu, ali bez obzira na to, javno ćemo podijeliti sve znanje koje smo stekli, samo da uhvatimo malo vremena i napišemo poneki članak.

Ulazak u NVIDIA Inception program

Treba spomenuti kako je Fashion Cam primljen i u NVIDIA Inception program. Što to znači za sam projekt?

Članstvo u NVIDIA-inom Inception programu omogućit će nam nabavku hardvera po sniženim cijenama, pristup novom znanju i pomoći njihovih stručnjaka te pomoć u marketingu. Osim toga, NVIDIA ima i vlastiti program financiranja kao i mnoge kontakte s drugim investitorima. Sljedeći koraci su širenje na ostale kategorije, druge Styrijine oglasnike, a potom i prodaja ostalim oglasnicima na globalnom tržištu.

Nadalje, govoreći o iskustvima iz Münchena, Marko još dodaje i kako je u ovom poslu vrlo važno posjećivati konferencije i upijati novo znanje jer se područje razvija strelovito brzo. Tako su na krajem listopada održanoj konferenciji ICCV – International Conference on Computer Vision ostvarili zapažen nastup i kontakte s kompanijama od Facebooka i Googla do IBM-a, eBaya i Magic Leapa.

Nadamo se da će neki od tih razgovora također uroditi plodom. Dakle, konferencije su važne, ne samo zbog znanja, već i zbog poslovnih kontakata.

Rad za međunarodne klijente od – Skandinavije do Kine

No, u razgovoru me zanimalo više i o Styrijinom odjelu Data Science koji ima fokus na strojno učenje, kompjuterski vid i Natural Language Processing (NLP).

Ljudi se često iznenade da je takav jedan R&D odjel nastao u medijskoj kući. Styria ima mnogo podataka i menadžment koji razumije važnost ulaganja u istraživanje. To su dva ključna elementa potrebna za takav razvoj. Krenuli smo početkom 2015. i okupili fantastičan tim koji sada radi za Styrijine brendove, ali i velike međunarodne klijente – od Skandinavije do Kine. Trenutno brojimo deset ljudi, no u stalnoj smo potrazi za novim kadrom.

Styrijin odjel Data Science bavi se strojnim učenjem, kompjuterskim vid i Natural Language Processingom (NLP).

Sljedeći korak? Još značajniji iskorak na globalno tržište

Za NLP projekte su nedavno dobili i Googleov grant od pola milijuna eura, a cilj je napraviti personalizirani 24sata.hr. Uz to rade i na još nekoliko projekata iz domene računalnog vida i generalno strojnog učenja, a uskoro puštaju u produkciju jednu novu funkcionalnost koju su razvili zajedno s Njuškalom.

Osim toga, svoje trenutne algoritme želimo “upakirati” u API-je koji bi bili dostupni third-party developerima. Primjerice, naš model za raspoznavanje objekata trenutno je kompetitivan i u nekim slučajevima čak i bolji od javno dostupnih API-ja iza kojih stoje najveće svjetske kompanije.

To znači da mogu ponuditi vrlo precizno i točno raspoznavanje objekata kompanija koje se bave proširenom stvarnošću ili robotikom. Marko za kraj ističe:

Iako već radimo za klijente u inozemstvu, izlazak na globalno tržište u većoj skali je sljedeći korak.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Mobilno

Kako je Njuškalo uz pomoć foto-prepoznavanja za 70% ubrzao predaju oglasa u mobilnoj aplikaciji

Foto-prepoznavanje predmeta u samom je vrhu svjetskih trendova i primjene umjetne inteligencije, a mi smo odlučili upravo tu tehnologiju uvrstiti u Njuškalovu aplikaciju prilikom predavanja oglasa. Kako je proces izgledao u praksi, na koje smo izazove naišli i što su planovi za budućnost, otkrivamo.

Intervju

Što korisnici žele i očekuju od vaših proizvoda i usluga zna podatkovna znanstvenica

Iako je njezin karijerni put krenuo u smjeru računovodstva i financija, Maja Copak Smolčić vrlo je brzo shvatila kako ju više zanima statistika i analiza podataka. Bila je spremna na novi početak i učenje programiranja i novih vještina. Danas u A1 vodi odjel zadužen za poslovnu analitiku i data science.

Startupi i poslovanje

Je li Hrvatska nacija jeftine IT radne snage ili prepoznajemo vlastite (proizvodne) potencijale?

Ne treba nam da budemo jeftina tehnološka radna snaga, pa ni radna snaga za 8000 eura! Možemo više - i to smo već dokazali...

Što ste propustili

Tehnologija

Kako sam od osobe koja regrutira programere sama postala programerka?

Prije otprilike godinu dana intenzivno sam guglala “kako postati (samouki) developer”. Danas sam u situaciji da sama pišem o tome. Iako je svačije iskustvo drugačije, nadam se da će ono što sam putem naučila biti korisno i inspirativno svima koji koketiraju s programiranjem i razmišljaju o karijeri u IT-u.

Startupi i poslovanje

Christina Calje, od direktorske pozicije u Goldman Sachsu do vlastitog AI startupa

Prije nešto više od četiri godine, Christina je iz financijske posve prešla u tehnološku industriju. Danas kao osnivačica startupa Autheos, koji uz pomoć AI optimizira video kampanje, sudjeluje i u projektima za definiranje pravnih okvira odgovornosti AI sustava, a upravo ju je to, kao vrsnu stručnjakinju i uspješnu ženu dovelo na LEAP Women konferenciju nakon koje sam s njom pričala o AI-u, marketinškim strategijama, društvenim mrežama, GDPR-u i video trendovima.

Društvene mreže

Filip Zavadlav: Kako je ubojica podrškom na online mrežama postao simbol borbe za pravdu?

Uspoređuju ga s Jokerom i Punisherom, prozivaju ga herojem, a ne ubojicom. Priča o Filipu Zavadlavi, 25-godišnjaku koji je počinio trostruko ubojstvo u Splitu, puni sve medije već nekoliko dana. Ali i društvene mreže.

Startupi i poslovanje

Komentiramo kriterije nesamostalnog rada: Hoće li ih i vaš paušalni obrt zadovoljiti?

Ministarstvo financija objavilo je kriterije po kojima se određuje je li nešto nesamostalni rad i trebaju li za njega biti plaćeni svi doprinosi i porezi kao na plaću. No, koliko su ti kriteriji jasni i primjenjivi na IT?

Startupi i poslovanje

Alan Sumina: U 11 godina Nanobit je izdao više od 20 igara, a živi od samo njih tri

CEO Nanobita Alan Sumina jedan je od najpoznatijih domaćih poduzetnika, a mi smo provjerili kako danas gleda na 11 godina njegove tvrtke te izazove na koje se nailazilo putem.

Intervju

Što korisnici žele i očekuju od vaših proizvoda i usluga zna podatkovna znanstvenica

Iako je njezin karijerni put krenuo u smjeru računovodstva i financija, Maja Copak Smolčić vrlo je brzo shvatila kako ju više zanima statistika i analiza podataka. Bila je spremna na novi početak i učenje programiranja i novih vještina. Danas u A1 vodi odjel zadužen za poslovnu analitiku i data science.