Kako je Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Kad se nakon konferencije možete pohvaliti fotografijama na kojima ste s Jensenom Huangom, CEO-om NVIDIA-e, znate da je vaš projekt na dobrom putu. O čemu se radi? Riječ je o Fashion Camu, projektu Styrijinog odjela Data Science koji je nedavno predstavljen u Münchenu, o čemu smo razgovarali s Markom Velićem, voditeljem tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija, kaže Marko Velić, voditelj tima koji radi na razvoju projekta.

Na nedavno održanoj konferenciji NVIDIA GTC Europe 2017 u Münchenu predstavljen je domaći projekt Fashion Cam koji je proizašao iz radionice Styrijinog odjela Data Science. Riječ je o projektu koji je ostvaren u suradnji s austrijskim Willhabenom, platformom za kupnju i prodaju (rabljenih) stvari – njihov pandan Njuškalu, objašnjava Marko Velić, voditelj tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija. To znači da korisnik može na temelju slike dohvatiti slične predmete koji su trenutno u ponudi Willhabena. Također, moguće je da neki trenutni oglas bude polazište za pretragu te se onda dohvate vizualno slični predmeti. To zovemo visual browsing.

Dodaje kako vizualno pretraživanje postaje trend u industriji pretraživača, recimo prije par mjeseci je i eBay u Americi predstavio svoju verziju vizualnog pretraživanja, koje je za sada u beta fazi.

Laska nam da je naš sustav bio u produkciji točno godinu dana ranije. Na projektu radi osam ljudi i konstantno se usavršava. Moda je odabrana kao prva skupina proizvoda koje ćemo obuhvatiti, a na temelju testiranja s Willhabenovim korisnicima. Sada se širimo i na ostale kategorije, poput namještaja, antikviteta, umjetnosti itd.

Nagrada za najbolju poster – prezentaciju u Münchenu

Inače, projekt je u Münchenu bio u konkurenciji s vodećim europskim i svjetskim znanstvenicima, istraživačkim grupama i kompanijama koje se bave AI-jem, a dobio je nagradu za najbolju poster prezentaciju – otuda i fotografija s Jensenom Huangom, CEO-om NVIDIA-e.

To je veliko priznanje za naš gotovo trogodišnji težak rad i potvrda činjenice da radimo R&D na svjetskoj razini. Posebno stoga što nismo primarno znanstveno-istraživačka institucija već samostalni tim koji mora biti cash-flow pozitivan i preživjeti na tržištu. Ostvariti znanstveni doprinos i pritom biti samoodrživ na tržištu je iznimno teško. Primjerice, globalni div i jedan od vodećih AI labosa Deep Mind je prošle godine ostvario gubitak od preko 160 milijuna dolara… U takvoj konkurenciji je jako teško natjecati se.

Kako napraviti dobar machine learning model koji radi na – pravim fotografijama?

Marko je u razgovoru istaknuo kako je bio izazov bio napraviti dobar machine learning model koji će raditi na pravim fotografijama. Pa kako je prevladan?

Objašnjava kako primjerice Amazonov image search sustav pretražuje bazu kataloških fotografija dok stvarne fotografije, odnosno one snimljene u realnim uvjetima predstavljaju puno veći izazov jer korisnici fotografiraju objekte s raznim uređajima, kamerama loše kvalitete, u uvjetima slabog osvjetljenja, u raznim položajima itd.

Taj smo izazov prevladali zahvaljujući velikoj bazi fotografija iz stvarnog svijeta koje smo koristili za učenje modela, ali i zahvaljujući nekolicini algoritamskih trikova koje smo koristili i koji su naš izvorni znanstveni doprinos.

Patentne prijave za rješenja korištena u razvoju Fashion Cama

Zanimalo me i postoje li kod Fashion Cama neke zanimljivosti s tehničke strane.

Naravno, obično se na projektima strojnog učenja koriste velike baze označenih podataka. Taj pristup nazivamo nadzirano (supervised) strojno učenje. Velik izazov za nas bio je postići vizualnu sličnost u rezultatima pretrage jer takve oznake u bazi nemamo. Jedino što smo imali su vrlo grube kategorije proizvoda, npr. “ženska haljina”. No, ako razmislite, ženske haljine mogu biti svakakve, kratke, duge, uske, široke, ležerne, večernje, šarene, jednobojne, na volane, raznih tekstura i materijala itd…

Rezultat Fashion Cama nakon slikanja Jensena Huanga.

Ističe kako je stoga jedan od važnijih doprinosa pronalazak načina na koji treba “rastrančirati duboku konvolucijsku neuronsku mrežu da bi se iz istreniranog modela izvukle one značajke koje opisuju baš takve atribute predmeta tj. odjeće”. Primjerice, kod tenisica i cipela, korisnici su zahtijevali da se unosom fotografije tenisice određenog brenda u rezultatima pojave ostale tenisice istog tog proizvođača.

Klasičan pristup tom problemu spadao bi u domenu detekcije logotipova. No, opet, mi u bazi nismo imali označene lokacije logotipova na tenisicama (bounding box ili pixel-level anotacije). Tu smo opet stavljeni pred velik istraživački izazov i riješili smo ga na način da iz tekstualnih opisa oglasa pronađemo riječi koje nose najviše informacije s obzirom na kategoriju u kojoj se oglas nalazi. Tako su isplivali nazivi brendova ili tipične fraze poput “kožna jakna” i sl.

Te su riječi zatim korištene za fine-tuning modela pri čemu se dogodio fantastičan rezultat, kaže Marko.

Naime, mreže su naučile prepoznavati logotipove čak i ako za njih nemamo eksplicitne oznake za učenje. Za neke tehnike korištene u radu imamo i patentnu prijavu, ali bez obzira na to, javno ćemo podijeliti sve znanje koje smo stekli, samo da uhvatimo malo vremena i napišemo poneki članak.

Ulazak u NVIDIA Inception program

Treba spomenuti kako je Fashion Cam primljen i u NVIDIA Inception program. Što to znači za sam projekt?

Članstvo u NVIDIA-inom Inception programu omogućit će nam nabavku hardvera po sniženim cijenama, pristup novom znanju i pomoći njihovih stručnjaka te pomoć u marketingu. Osim toga, NVIDIA ima i vlastiti program financiranja kao i mnoge kontakte s drugim investitorima. Sljedeći koraci su širenje na ostale kategorije, druge Styrijine oglasnike, a potom i prodaja ostalim oglasnicima na globalnom tržištu.

Nadalje, govoreći o iskustvima iz Münchena, Marko još dodaje i kako je u ovom poslu vrlo važno posjećivati konferencije i upijati novo znanje jer se područje razvija strelovito brzo. Tako su na krajem listopada održanoj konferenciji ICCV – International Conference on Computer Vision ostvarili zapažen nastup i kontakte s kompanijama od Facebooka i Googla do IBM-a, eBaya i Magic Leapa.

Nadamo se da će neki od tih razgovora također uroditi plodom. Dakle, konferencije su važne, ne samo zbog znanja, već i zbog poslovnih kontakata.

Rad za međunarodne klijente od – Skandinavije do Kine

No, u razgovoru me zanimalo više i o Styrijinom odjelu Data Science koji ima fokus na strojno učenje, kompjuterski vid i Natural Language Processing (NLP).

Ljudi se često iznenade da je takav jedan R&D odjel nastao u medijskoj kući. Styria ima mnogo podataka i menadžment koji razumije važnost ulaganja u istraživanje. To su dva ključna elementa potrebna za takav razvoj. Krenuli smo početkom 2015. i okupili fantastičan tim koji sada radi za Styrijine brendove, ali i velike međunarodne klijente – od Skandinavije do Kine. Trenutno brojimo deset ljudi, no u stalnoj smo potrazi za novim kadrom.

Styrijin odjel Data Science bavi se strojnim učenjem, kompjuterskim vid i Natural Language Processingom (NLP).

Sljedeći korak? Još značajniji iskorak na globalno tržište

Za NLP projekte su nedavno dobili i Googleov grant od pola milijuna eura, a cilj je napraviti personalizirani 24sata.hr. Uz to rade i na još nekoliko projekata iz domene računalnog vida i generalno strojnog učenja, a uskoro puštaju u produkciju jednu novu funkcionalnost koju su razvili zajedno s Njuškalom.

Osim toga, svoje trenutne algoritme želimo “upakirati” u API-je koji bi bili dostupni third-party developerima. Primjerice, naš model za raspoznavanje objekata trenutno je kompetitivan i u nekim slučajevima čak i bolji od javno dostupnih API-ja iza kojih stoje najveće svjetske kompanije.

To znači da mogu ponuditi vrlo precizno i točno raspoznavanje objekata kompanija koje se bave proširenom stvarnošću ili robotikom. Marko za kraj ističe:

Iako već radimo za klijente u inozemstvu, izlazak na globalno tržište u većoj skali je sljedeći korak.

ponuda

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Video

Svi su gubitnici u bitci za i protiv paušalnih obrta: Tvrtke, radnici – i sami “paušalci”

Zato što se IT scena razjedinila oko teme paušalnih obrta, zato će svi iz nje izaći i poraženi. No, koja je perspektiva svih uključenih strana? Ivan i ja smo provjerili u drugoj epizodi Netokracija Podcasta.

SEO i tražilice

Velika analiza online sadržaja o cijepljenju pokazuje da HZJZ olakšava posao – antivakserima

SEO koji život znači. To bi mogao biti alternativni naslov ove analize, iako ovdje nije riječ o samoj optimizaciji sadržaja za tražilice, nego optimizaciji za - korisnika. Jer u vrijeme kad procijepljenost pada, optimiziran i korisniku prilagođen sadržaj na stranicama HZJZ-a i drugih zdravstvenih institucija mogao bi doista značiti razliku između života i smrti.

Startupi i poslovanje

Bez VC investicije, TalentLyft je školski primjer samofinanciranog SaaS startupa

Bez ikakve veće investicije, TalentLyft, domaći regrutacijski alat koji koriste Five, HT, Span i mnoge druge tvrtke, izašao je s novom konkurentnom verzijom kojom planira globalno širenje uz pomoć inbound marketinga.

Što ste propustili

Kolumna

Kako riješiti izazove rada na projektu: Od nekompetentnih voditelja do loše komunikacije

Nedavno smo imali smo zgodan slučaj. Radi se o većem projektu, u njemu učestvuje više tvrtki. Krovna tvrtka, između ostaloga, ima i svog voditelja projekta. Radi se o osobi koja za takav posao nije kompetentna iz jednostavnog razloga - ne poznaje osnovne elemente od kojih se upravljanje projekata sastoji.

Startupi i poslovanje

Identyum – digitalna osobna iskaznica iz Hrvatske za 21. stoljeće?

Na krilima suradnje s Finom, IDENTYUM bi trebao omogućiti dokazivanje identiteta putem aplikacije, bez papirologije, pokazivanja osobnih iskaznica i sličnih koraka.

Digitalni mediji

Kako napisati dobar članak za svoj ili tvrtkin blog (kad baš morate)

Je li vam teško napisati članak za blog tvrtke, objavu na LinkedInu ili 'microcopy' za digitalni projekt? Urednički i praktični savjeti slijede u novoj epizodi Netokracija podcasta!

Startupi i poslovanje

David Bizer: Direktor mora biti ambasador kulture tvrtke pa makar to značilo razgovor i sa 150. zaposlenikom!

Ususret nadolazećoj konferenciji Employer Branding na kojem gostuje kao keynote predavač, razgovarali smo s Davidom Bizerom oko gorućeg pitanja digitalne industrije za sve male i velike tvrtke: kako privući nove ljude?

Startupi i poslovanje

Uz anđeoske investicije, a sad i Fil Rouge Capital, Smart Lumies u pripremi za najveće američke trgovačke lance

Kocka je bačena. Smart Lumiesi su usavršili svoj prvi proizvod, a uskoro slijede i novi proizvodi i mnoge igre, ali i izlazak na američko tržište. U pripremi za sve to, posebno dobra vijest je da su nedavno zaključili investiciju od Fil Rouge Capitala.

Izvještaj

Ako želite učiti, postati IT konzultant nije bauk, osnove s fakulteta već imate

Iza nas je zadnji Tech Consultant Meetup s kojim smo zaključili ovogodišnji ciklus Digitalne karijere, a koji smo u suradnji s mStartom, hrvatskom tvrtkom za poslovna IT rješenja realizirali u tri hrvatska grada: Zagrebu, Osijeku te konačno - Splitu.