Kako je Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Kad se nakon konferencije možete pohvaliti fotografijama na kojima ste s Jensenom Huangom, CEO-om NVIDIA-e, znate da je vaš projekt na dobrom putu. O čemu se radi? Riječ je o Fashion Camu, projektu Styrijinog odjela Data Science koji je nedavno predstavljen u Münchenu, o čemu smo razgovarali s Markom Velićem, voditeljem tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija, kaže Marko Velić, voditelj tima koji radi na razvoju projekta.

Na nedavno održanoj konferenciji NVIDIA GTC Europe 2017 u Münchenu predstavljen je domaći projekt Fashion Cam koji je proizašao iz radionice Styrijinog odjela Data Science. Riječ je o projektu koji je ostvaren u suradnji s austrijskim Willhabenom, platformom za kupnju i prodaju (rabljenih) stvari – njihov pandan Njuškalu, objašnjava Marko Velić, voditelj tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija. To znači da korisnik može na temelju slike dohvatiti slične predmete koji su trenutno u ponudi Willhabena. Također, moguće je da neki trenutni oglas bude polazište za pretragu te se onda dohvate vizualno slični predmeti. To zovemo visual browsing.

Dodaje kako vizualno pretraživanje postaje trend u industriji pretraživača, recimo prije par mjeseci je i eBay u Americi predstavio svoju verziju vizualnog pretraživanja, koje je za sada u beta fazi.

Laska nam da je naš sustav bio u produkciji točno godinu dana ranije. Na projektu radi osam ljudi i konstantno se usavršava. Moda je odabrana kao prva skupina proizvoda koje ćemo obuhvatiti, a na temelju testiranja s Willhabenovim korisnicima. Sada se širimo i na ostale kategorije, poput namještaja, antikviteta, umjetnosti itd.

Nagrada za najbolju poster – prezentaciju u Münchenu

Inače, projekt je u Münchenu bio u konkurenciji s vodećim europskim i svjetskim znanstvenicima, istraživačkim grupama i kompanijama koje se bave AI-jem, a dobio je nagradu za najbolju poster prezentaciju – otuda i fotografija s Jensenom Huangom, CEO-om NVIDIA-e.

To je veliko priznanje za naš gotovo trogodišnji težak rad i potvrda činjenice da radimo R&D na svjetskoj razini. Posebno stoga što nismo primarno znanstveno-istraživačka institucija već samostalni tim koji mora biti cash-flow pozitivan i preživjeti na tržištu. Ostvariti znanstveni doprinos i pritom biti samoodrživ na tržištu je iznimno teško. Primjerice, globalni div i jedan od vodećih AI labosa Deep Mind je prošle godine ostvario gubitak od preko 160 milijuna dolara… U takvoj konkurenciji je jako teško natjecati se.

Kako napraviti dobar machine learning model koji radi na – pravim fotografijama?

Marko je u razgovoru istaknuo kako je bio izazov bio napraviti dobar machine learning model koji će raditi na pravim fotografijama. Pa kako je prevladan?

Objašnjava kako primjerice Amazonov image search sustav pretražuje bazu kataloških fotografija dok stvarne fotografije, odnosno one snimljene u realnim uvjetima predstavljaju puno veći izazov jer korisnici fotografiraju objekte s raznim uređajima, kamerama loše kvalitete, u uvjetima slabog osvjetljenja, u raznim položajima itd.

Taj smo izazov prevladali zahvaljujući velikoj bazi fotografija iz stvarnog svijeta koje smo koristili za učenje modela, ali i zahvaljujući nekolicini algoritamskih trikova koje smo koristili i koji su naš izvorni znanstveni doprinos.

Patentne prijave za rješenja korištena u razvoju Fashion Cama

Zanimalo me i postoje li kod Fashion Cama neke zanimljivosti s tehničke strane.

Naravno, obično se na projektima strojnog učenja koriste velike baze označenih podataka. Taj pristup nazivamo nadzirano (supervised) strojno učenje. Velik izazov za nas bio je postići vizualnu sličnost u rezultatima pretrage jer takve oznake u bazi nemamo. Jedino što smo imali su vrlo grube kategorije proizvoda, npr. “ženska haljina”. No, ako razmislite, ženske haljine mogu biti svakakve, kratke, duge, uske, široke, ležerne, večernje, šarene, jednobojne, na volane, raznih tekstura i materijala itd…

Rezultat Fashion Cama nakon slikanja Jensena Huanga.

Ističe kako je stoga jedan od važnijih doprinosa pronalazak načina na koji treba “rastrančirati duboku konvolucijsku neuronsku mrežu da bi se iz istreniranog modela izvukle one značajke koje opisuju baš takve atribute predmeta tj. odjeće”. Primjerice, kod tenisica i cipela, korisnici su zahtijevali da se unosom fotografije tenisice određenog brenda u rezultatima pojave ostale tenisice istog tog proizvođača.

Klasičan pristup tom problemu spadao bi u domenu detekcije logotipova. No, opet, mi u bazi nismo imali označene lokacije logotipova na tenisicama (bounding box ili pixel-level anotacije). Tu smo opet stavljeni pred velik istraživački izazov i riješili smo ga na način da iz tekstualnih opisa oglasa pronađemo riječi koje nose najviše informacije s obzirom na kategoriju u kojoj se oglas nalazi. Tako su isplivali nazivi brendova ili tipične fraze poput “kožna jakna” i sl.

Te su riječi zatim korištene za fine-tuning modela pri čemu se dogodio fantastičan rezultat, kaže Marko.

Naime, mreže su naučile prepoznavati logotipove čak i ako za njih nemamo eksplicitne oznake za učenje. Za neke tehnike korištene u radu imamo i patentnu prijavu, ali bez obzira na to, javno ćemo podijeliti sve znanje koje smo stekli, samo da uhvatimo malo vremena i napišemo poneki članak.

Ulazak u NVIDIA Inception program

Treba spomenuti kako je Fashion Cam primljen i u NVIDIA Inception program. Što to znači za sam projekt?

Članstvo u NVIDIA-inom Inception programu omogućit će nam nabavku hardvera po sniženim cijenama, pristup novom znanju i pomoći njihovih stručnjaka te pomoć u marketingu. Osim toga, NVIDIA ima i vlastiti program financiranja kao i mnoge kontakte s drugim investitorima. Sljedeći koraci su širenje na ostale kategorije, druge Styrijine oglasnike, a potom i prodaja ostalim oglasnicima na globalnom tržištu.

Nadalje, govoreći o iskustvima iz Münchena, Marko još dodaje i kako je u ovom poslu vrlo važno posjećivati konferencije i upijati novo znanje jer se područje razvija strelovito brzo. Tako su na krajem listopada održanoj konferenciji ICCV – International Conference on Computer Vision ostvarili zapažen nastup i kontakte s kompanijama od Facebooka i Googla do IBM-a, eBaya i Magic Leapa.

Nadamo se da će neki od tih razgovora također uroditi plodom. Dakle, konferencije su važne, ne samo zbog znanja, već i zbog poslovnih kontakata.

Rad za međunarodne klijente od – Skandinavije do Kine

No, u razgovoru me zanimalo više i o Styrijinom odjelu Data Science koji ima fokus na strojno učenje, kompjuterski vid i Natural Language Processing (NLP).

Ljudi se često iznenade da je takav jedan R&D odjel nastao u medijskoj kući. Styria ima mnogo podataka i menadžment koji razumije važnost ulaganja u istraživanje. To su dva ključna elementa potrebna za takav razvoj. Krenuli smo početkom 2015. i okupili fantastičan tim koji sada radi za Styrijine brendove, ali i velike međunarodne klijente – od Skandinavije do Kine. Trenutno brojimo deset ljudi, no u stalnoj smo potrazi za novim kadrom.

Styrijin odjel Data Science bavi se strojnim učenjem, kompjuterskim vid i Natural Language Processingom (NLP).

Sljedeći korak? Još značajniji iskorak na globalno tržište

Za NLP projekte su nedavno dobili i Googleov grant od pola milijuna eura, a cilj je napraviti personalizirani 24sata.hr. Uz to rade i na još nekoliko projekata iz domene računalnog vida i generalno strojnog učenja, a uskoro puštaju u produkciju jednu novu funkcionalnost koju su razvili zajedno s Njuškalom.

Osim toga, svoje trenutne algoritme želimo “upakirati” u API-je koji bi bili dostupni third-party developerima. Primjerice, naš model za raspoznavanje objekata trenutno je kompetitivan i u nekim slučajevima čak i bolji od javno dostupnih API-ja iza kojih stoje najveće svjetske kompanije.

To znači da mogu ponuditi vrlo precizno i točno raspoznavanje objekata kompanija koje se bave proširenom stvarnošću ili robotikom. Marko za kraj ističe:

Iako već radimo za klijente u inozemstvu, izlazak na globalno tržište u većoj skali je sljedeći korak.

ponuda

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Kultura 2.0

Je li go-go plesačicama i “I tata bi, sine” majicama mjesto na tehnološkoj konferenciji?

Ako ste među onima koji se pitaju koji je pravi odgovor na pitanje iz naslova, preporučujem pozorno čitanje teksta do kraja.

Novost

Mobilna banka Revolut od danas službeno podržava nadoplate u kunama

Od danas svoju Revolut karticu možete nadoplatiti u kunama!

Društvene mreže

Kako je Mislav Kolakušić uz Facebook i Google oglase postao najveće iznenađenje izbora za EP

Mislav Kolakušić zasigurno je jedno od većih iznenađenja jučerašnjih izbora za Europski parlament, a čini se da dobar dio svoje popularnosti, zahvaljujući kojoj je osvojio 68.882 preferencijalnih glasova, može zahvaliti pametnom korištenju društvenih mreža i online oglašavanja.

Što ste propustili

Startupi i poslovanje

Ida Pandur, EY: Tek 8% potrošača dobiva korisničko iskustvo koje očekuje

Kad su svi slični, kako biti drugačiji? Odgovor za tvrtke je jednostavan - treba ponuditi bolje korisničko iskustvo. No, da provedba te misli nije toliko jednostavna kao ona sama, pokazuje podatak da tek mali dio korisnika dobiva korisničko iskustvo koje očekuje.

Tehnologija

Facebook najavio Calibru i Libru – vjerujete li im dovoljno da im date uvid u svoje financije?

Facebook se baca u blockchain vode uz podršku MasterCarda, Lyfta, Vise i Ubera i planira napraviti revoluciju plaćanja, ali želimo li im povjeriti svoje financije?

Startupi i poslovanje

Mate Rimac iskreno o krvavom putu do kapitala za Rimac Automobile, Silicijskoj dolini i lažnim investitorima

Sjeo sam s Matom Rimcem kako bismo po prvi put povodom #10GodinaNetokracije, ali i Rimac Automobila otkrili kako je točno izgledao ‘fundraising’ Rimac Automobila; od Silicijske doline i lažnih investitora do toga što to znači za tvrtku sad kad je osnivač manjinski suvlasnik.

Startupi i poslovanje

WeAreDevelopers 2019: Što smo naučili od fintech unicorna s više od 40 autonomnih timova?

Na ovogodišnjoj WeAreDevelopers konferenciji imali smo priliku saznati kako i s današnjih 1600 zaposlenika Transferwise, jedan od najpoznatijih svjetskih fintecha, uspijeva izbjeći korporativnu strukturu.

Vodič

Isplati li se uvesti plaćanje karticama u vaš biznis ?

Bilo da prodajete svoje proizvode u fizičkoj trgovini ili online, čim krenete u posao postavit će se pitanje načina plaćanja koje ćete uvesti - točnije, hoćete li prihvaćati kartice ili ne.

Vodič

Što su i kako funkcioniraju platforme za prodaju?

Ponekad je teško krenuti sam u nešto u što se (još) ne razumijete. Zato mali poduzetnici nekad, umjesto da otvore svoju web trgovinu, radije postanu dio neke platforme.