Kako je Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Kad se nakon konferencije možete pohvaliti fotografijama na kojima ste s Jensenom Huangom, CEO-om NVIDIA-e, znate da je vaš projekt na dobrom putu. O čemu se radi? Riječ je o Fashion Camu, projektu Styrijinog odjela Data Science koji je nedavno predstavljen u Münchenu, o čemu smo razgovarali s Markom Velićem, voditeljem tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija, kaže Marko Velić, voditelj tima koji radi na razvoju projekta.

Na nedavno održanoj konferenciji NVIDIA GTC Europe 2017 u Münchenu predstavljen je domaći projekt Fashion Cam koji je proizašao iz radionice Styrijinog odjela Data Science. Riječ je o projektu koji je ostvaren u suradnji s austrijskim Willhabenom, platformom za kupnju i prodaju (rabljenih) stvari – njihov pandan Njuškalu, objašnjava Marko Velić, voditelj tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija. To znači da korisnik može na temelju slike dohvatiti slične predmete koji su trenutno u ponudi Willhabena. Također, moguće je da neki trenutni oglas bude polazište za pretragu te se onda dohvate vizualno slični predmeti. To zovemo visual browsing.

Dodaje kako vizualno pretraživanje postaje trend u industriji pretraživača, recimo prije par mjeseci je i eBay u Americi predstavio svoju verziju vizualnog pretraživanja, koje je za sada u beta fazi.

Laska nam da je naš sustav bio u produkciji točno godinu dana ranije. Na projektu radi osam ljudi i konstantno se usavršava. Moda je odabrana kao prva skupina proizvoda koje ćemo obuhvatiti, a na temelju testiranja s Willhabenovim korisnicima. Sada se širimo i na ostale kategorije, poput namještaja, antikviteta, umjetnosti itd.

Nagrada za najbolju poster – prezentaciju u Münchenu

Inače, projekt je u Münchenu bio u konkurenciji s vodećim europskim i svjetskim znanstvenicima, istraživačkim grupama i kompanijama koje se bave AI-jem, a dobio je nagradu za najbolju poster prezentaciju – otuda i fotografija s Jensenom Huangom, CEO-om NVIDIA-e.

To je veliko priznanje za naš gotovo trogodišnji težak rad i potvrda činjenice da radimo R&D na svjetskoj razini. Posebno stoga što nismo primarno znanstveno-istraživačka institucija već samostalni tim koji mora biti cash-flow pozitivan i preživjeti na tržištu. Ostvariti znanstveni doprinos i pritom biti samoodrživ na tržištu je iznimno teško. Primjerice, globalni div i jedan od vodećih AI labosa Deep Mind je prošle godine ostvario gubitak od preko 160 milijuna dolara… U takvoj konkurenciji je jako teško natjecati se.

Kako napraviti dobar machine learning model koji radi na – pravim fotografijama?

Marko je u razgovoru istaknuo kako je bio izazov bio napraviti dobar machine learning model koji će raditi na pravim fotografijama. Pa kako je prevladan?

Objašnjava kako primjerice Amazonov image search sustav pretražuje bazu kataloških fotografija dok stvarne fotografije, odnosno one snimljene u realnim uvjetima predstavljaju puno veći izazov jer korisnici fotografiraju objekte s raznim uređajima, kamerama loše kvalitete, u uvjetima slabog osvjetljenja, u raznim položajima itd.

Taj smo izazov prevladali zahvaljujući velikoj bazi fotografija iz stvarnog svijeta koje smo koristili za učenje modela, ali i zahvaljujući nekolicini algoritamskih trikova koje smo koristili i koji su naš izvorni znanstveni doprinos.

Patentne prijave za rješenja korištena u razvoju Fashion Cama

Zanimalo me i postoje li kod Fashion Cama neke zanimljivosti s tehničke strane.

Naravno, obično se na projektima strojnog učenja koriste velike baze označenih podataka. Taj pristup nazivamo nadzirano (supervised) strojno učenje. Velik izazov za nas bio je postići vizualnu sličnost u rezultatima pretrage jer takve oznake u bazi nemamo. Jedino što smo imali su vrlo grube kategorije proizvoda, npr. “ženska haljina”. No, ako razmislite, ženske haljine mogu biti svakakve, kratke, duge, uske, široke, ležerne, večernje, šarene, jednobojne, na volane, raznih tekstura i materijala itd…

Rezultat Fashion Cama nakon slikanja Jensena Huanga.

Ističe kako je stoga jedan od važnijih doprinosa pronalazak načina na koji treba “rastrančirati duboku konvolucijsku neuronsku mrežu da bi se iz istreniranog modela izvukle one značajke koje opisuju baš takve atribute predmeta tj. odjeće”. Primjerice, kod tenisica i cipela, korisnici su zahtijevali da se unosom fotografije tenisice određenog brenda u rezultatima pojave ostale tenisice istog tog proizvođača.

Klasičan pristup tom problemu spadao bi u domenu detekcije logotipova. No, opet, mi u bazi nismo imali označene lokacije logotipova na tenisicama (bounding box ili pixel-level anotacije). Tu smo opet stavljeni pred velik istraživački izazov i riješili smo ga na način da iz tekstualnih opisa oglasa pronađemo riječi koje nose najviše informacije s obzirom na kategoriju u kojoj se oglas nalazi. Tako su isplivali nazivi brendova ili tipične fraze poput “kožna jakna” i sl.

Te su riječi zatim korištene za fine-tuning modela pri čemu se dogodio fantastičan rezultat, kaže Marko.

Naime, mreže su naučile prepoznavati logotipove čak i ako za njih nemamo eksplicitne oznake za učenje. Za neke tehnike korištene u radu imamo i patentnu prijavu, ali bez obzira na to, javno ćemo podijeliti sve znanje koje smo stekli, samo da uhvatimo malo vremena i napišemo poneki članak.

Ulazak u NVIDIA Inception program

Treba spomenuti kako je Fashion Cam primljen i u NVIDIA Inception program. Što to znači za sam projekt?

Članstvo u NVIDIA-inom Inception programu omogućit će nam nabavku hardvera po sniženim cijenama, pristup novom znanju i pomoći njihovih stručnjaka te pomoć u marketingu. Osim toga, NVIDIA ima i vlastiti program financiranja kao i mnoge kontakte s drugim investitorima. Sljedeći koraci su širenje na ostale kategorije, druge Styrijine oglasnike, a potom i prodaja ostalim oglasnicima na globalnom tržištu.

Nadalje, govoreći o iskustvima iz Münchena, Marko još dodaje i kako je u ovom poslu vrlo važno posjećivati konferencije i upijati novo znanje jer se područje razvija strelovito brzo. Tako su na krajem listopada održanoj konferenciji ICCV – International Conference on Computer Vision ostvarili zapažen nastup i kontakte s kompanijama od Facebooka i Googla do IBM-a, eBaya i Magic Leapa.

Nadamo se da će neki od tih razgovora također uroditi plodom. Dakle, konferencije su važne, ne samo zbog znanja, već i zbog poslovnih kontakata.

Rad za međunarodne klijente od – Skandinavije do Kine

No, u razgovoru me zanimalo više i o Styrijinom odjelu Data Science koji ima fokus na strojno učenje, kompjuterski vid i Natural Language Processing (NLP).

Ljudi se često iznenade da je takav jedan R&D odjel nastao u medijskoj kući. Styria ima mnogo podataka i menadžment koji razumije važnost ulaganja u istraživanje. To su dva ključna elementa potrebna za takav razvoj. Krenuli smo početkom 2015. i okupili fantastičan tim koji sada radi za Styrijine brendove, ali i velike međunarodne klijente – od Skandinavije do Kine. Trenutno brojimo deset ljudi, no u stalnoj smo potrazi za novim kadrom.

Styrijin odjel Data Science bavi se strojnim učenjem, kompjuterskim vid i Natural Language Processingom (NLP).

Sljedeći korak? Još značajniji iskorak na globalno tržište

Za NLP projekte su nedavno dobili i Googleov grant od pola milijuna eura, a cilj je napraviti personalizirani 24sata.hr. Uz to rade i na još nekoliko projekata iz domene računalnog vida i generalno strojnog učenja, a uskoro puštaju u produkciju jednu novu funkcionalnost koju su razvili zajedno s Njuškalom.

Osim toga, svoje trenutne algoritme želimo “upakirati” u API-je koji bi bili dostupni third-party developerima. Primjerice, naš model za raspoznavanje objekata trenutno je kompetitivan i u nekim slučajevima čak i bolji od javno dostupnih API-ja iza kojih stoje najveće svjetske kompanije.

To znači da mogu ponuditi vrlo precizno i točno raspoznavanje objekata kompanija koje se bave proširenom stvarnošću ili robotikom. Marko za kraj ističe:

Iako već radimo za klijente u inozemstvu, izlazak na globalno tržište u većoj skali je sljedeći korak.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Tehnologija

Koliko su novi e-Građani – bolji? Evo što kažu hrvatski dizajneri i UX stručnjaci

e-Građani su napokon doživjeli dugo očekivani redizajn pod palicom vladinog vlastitog "startup" tima. Redizajn je kruna dvogodišnjeg rada, kažu. I treba biti s obzirom da je riječ o platformi na kojoj će biti dostupno 87 usluga za građane, a koje bi trebale biti okosnica digitalnog društva. Što su uspjeli poboljšati, na čemu još trebaju raditi - otkrivamo.

Startupi i poslovanje

Imaš li svoje vrijeme za stvaranje? Jer jedan sastanak je dovoljan da ti uništi koncentraciju za cijeli dan!

Maker time. Deep work. Vrijeme za produktivnost i ideje. Zvuči kao ideal za mnoge hrvatske tvrtke, ali želimo li biti učinkoviti i kreativni, moramo si odrediti raspored za stvaranje - bili programer, pisac ili dizajner, radili na daljinu ili u uredu!

Startupi i poslovanje

Povratak u budućnost II: Ovo su 3 stvari koje hrvatska vlada može napraviti za IT industriju!

U prošlom sam nastavku pokazao da nismo iskoristili potencijal koji je drugi val internetskih tehnologija svesrdno nudio - Y2K virus nam očito nije bio dovoljan poguranac, a postoji li šansa da će ovaj novi virus, naš katarzični digitalni transformator Sars-CoV-2, biti jača poluga u rotiranju IT sentimenta?

Što ste propustili

Startupi i poslovanje

Ante Matijaca: 10 savjeta za dizajnerski uspjeh “preko noći”

U slučaju Ante Matijace, 20 godina i stotine projekata za klijente koji su objavljeni na Behanceu i Dribbbleu znače "uspjeh preko noći".

Startupi i poslovanje

Kako projektima upravljaju stručnjaci iz Microblinka, Fivea, Bornfighta i FER-a?

Što čini dobrog projektnog menadžera, po čemu se prepoznaje uspješan projekt, kako spriječiti nesporazume na vrijeme... saznali smo prošli tjedan na Job Fair Meetupu uz stručnjake vodećih hrvatskih IT tvrtki.

Društvene mreže

Kako zaštititi Facebook stranice, račune i Instagram profile da ih se ne dočepaju prevaranti?

Ella Dvornik ostala je bez Facebook profila, Marina Mamić bez stranice, a Chiarin tanjurić bez sadržaja na Instagramu.

Startupi i poslovanje

“Gotovo 41% ispitanika smatra da njihova poduzeća nemaju utjecaj na prava djece u Hrvatskoj”

U praktično svim segmentima poslovanja ICT tvrtki ima prostora za poboljšanje kad su dječja prava u pitanju, a većina domaćih tvrtki tek treba krenuti tim putem. Donosimo vam nekoliko praktičnih alata i savjeta od samog UNICEF-a.

Novost

Mislav Galler i Nenad Šlibar novi članovi uprave Telemacha

Direktor za tehniku Nenad Šlibar i glavni komercijalni direktor Telemacha Mislav Galler postali su danas članovi uprave domaćeg telekoma.

Kultura 2.0

75% ispitanika nije zadovoljno internom komunikacijom u tvrtki u kojoj radi

Pristigli su rezultati nedavno provedene anketa Jenza, zasebnog digitalnog proizvoda koji razvija Q agency - što su saznali o internoj komunikaciji u hrvatskim tvrtkama?