Kako je Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Styrijin projekt Fashion Cam temeljen na strojnom učenju oduševio šefa NVIDIA-e

Kad se nakon konferencije možete pohvaliti fotografijama na kojima ste s Jensenom Huangom, CEO-om NVIDIA-e, znate da je vaš projekt na dobrom putu. O čemu se radi? Riječ je o Fashion Camu, projektu Styrijinog odjela Data Science koji je nedavno predstavljen u Münchenu, o čemu smo razgovarali s Markom Velićem, voditeljem tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija, kaže Marko Velić, voditelj tima koji radi na razvoju projekta.

Na nedavno održanoj konferenciji NVIDIA GTC Europe 2017 u Münchenu predstavljen je domaći projekt Fashion Cam koji je proizašao iz radionice Styrijinog odjela Data Science. Riječ je o projektu koji je ostvaren u suradnji s austrijskim Willhabenom, platformom za kupnju i prodaju (rabljenih) stvari – njihov pandan Njuškalu, objašnjava Marko Velić, voditelj tima.

Glavna funkcionalnost Fashion Cama je vizualno pretraživanje fotografija. To znači da korisnik može na temelju slike dohvatiti slične predmete koji su trenutno u ponudi Willhabena. Također, moguće je da neki trenutni oglas bude polazište za pretragu te se onda dohvate vizualno slični predmeti. To zovemo visual browsing.

Dodaje kako vizualno pretraživanje postaje trend u industriji pretraživača, recimo prije par mjeseci je i eBay u Americi predstavio svoju verziju vizualnog pretraživanja, koje je za sada u beta fazi.

Laska nam da je naš sustav bio u produkciji točno godinu dana ranije. Na projektu radi osam ljudi i konstantno se usavršava. Moda je odabrana kao prva skupina proizvoda koje ćemo obuhvatiti, a na temelju testiranja s Willhabenovim korisnicima. Sada se širimo i na ostale kategorije, poput namještaja, antikviteta, umjetnosti itd.

Nagrada za najbolju poster – prezentaciju u Münchenu

Inače, projekt je u Münchenu bio u konkurenciji s vodećim europskim i svjetskim znanstvenicima, istraživačkim grupama i kompanijama koje se bave AI-jem, a dobio je nagradu za najbolju poster prezentaciju – otuda i fotografija s Jensenom Huangom, CEO-om NVIDIA-e.

To je veliko priznanje za naš gotovo trogodišnji težak rad i potvrda činjenice da radimo R&D na svjetskoj razini. Posebno stoga što nismo primarno znanstveno-istraživačka institucija već samostalni tim koji mora biti cash-flow pozitivan i preživjeti na tržištu. Ostvariti znanstveni doprinos i pritom biti samoodrživ na tržištu je iznimno teško. Primjerice, globalni div i jedan od vodećih AI labosa Deep Mind je prošle godine ostvario gubitak od preko 160 milijuna dolara… U takvoj konkurenciji je jako teško natjecati se.

Kako napraviti dobar machine learning model koji radi na – pravim fotografijama?

Marko je u razgovoru istaknuo kako je bio izazov bio napraviti dobar machine learning model koji će raditi na pravim fotografijama. Pa kako je prevladan?

Objašnjava kako primjerice Amazonov image search sustav pretražuje bazu kataloških fotografija dok stvarne fotografije, odnosno one snimljene u realnim uvjetima predstavljaju puno veći izazov jer korisnici fotografiraju objekte s raznim uređajima, kamerama loše kvalitete, u uvjetima slabog osvjetljenja, u raznim položajima itd.

Taj smo izazov prevladali zahvaljujući velikoj bazi fotografija iz stvarnog svijeta koje smo koristili za učenje modela, ali i zahvaljujući nekolicini algoritamskih trikova koje smo koristili i koji su naš izvorni znanstveni doprinos.

Patentne prijave za rješenja korištena u razvoju Fashion Cama

Zanimalo me i postoje li kod Fashion Cama neke zanimljivosti s tehničke strane.

Naravno, obično se na projektima strojnog učenja koriste velike baze označenih podataka. Taj pristup nazivamo nadzirano (supervised) strojno učenje. Velik izazov za nas bio je postići vizualnu sličnost u rezultatima pretrage jer takve oznake u bazi nemamo. Jedino što smo imali su vrlo grube kategorije proizvoda, npr. “ženska haljina”. No, ako razmislite, ženske haljine mogu biti svakakve, kratke, duge, uske, široke, ležerne, večernje, šarene, jednobojne, na volane, raznih tekstura i materijala itd…

Rezultat Fashion Cama nakon slikanja Jensena Huanga.

Ističe kako je stoga jedan od važnijih doprinosa pronalazak načina na koji treba “rastrančirati duboku konvolucijsku neuronsku mrežu da bi se iz istreniranog modela izvukle one značajke koje opisuju baš takve atribute predmeta tj. odjeće”. Primjerice, kod tenisica i cipela, korisnici su zahtijevali da se unosom fotografije tenisice određenog brenda u rezultatima pojave ostale tenisice istog tog proizvođača.

Klasičan pristup tom problemu spadao bi u domenu detekcije logotipova. No, opet, mi u bazi nismo imali označene lokacije logotipova na tenisicama (bounding box ili pixel-level anotacije). Tu smo opet stavljeni pred velik istraživački izazov i riješili smo ga na način da iz tekstualnih opisa oglasa pronađemo riječi koje nose najviše informacije s obzirom na kategoriju u kojoj se oglas nalazi. Tako su isplivali nazivi brendova ili tipične fraze poput “kožna jakna” i sl.

Te su riječi zatim korištene za fine-tuning modela pri čemu se dogodio fantastičan rezultat, kaže Marko.

Naime, mreže su naučile prepoznavati logotipove čak i ako za njih nemamo eksplicitne oznake za učenje. Za neke tehnike korištene u radu imamo i patentnu prijavu, ali bez obzira na to, javno ćemo podijeliti sve znanje koje smo stekli, samo da uhvatimo malo vremena i napišemo poneki članak.

Ulazak u NVIDIA Inception program

Treba spomenuti kako je Fashion Cam primljen i u NVIDIA Inception program. Što to znači za sam projekt?

Članstvo u NVIDIA-inom Inception programu omogućit će nam nabavku hardvera po sniženim cijenama, pristup novom znanju i pomoći njihovih stručnjaka te pomoć u marketingu. Osim toga, NVIDIA ima i vlastiti program financiranja kao i mnoge kontakte s drugim investitorima. Sljedeći koraci su širenje na ostale kategorije, druge Styrijine oglasnike, a potom i prodaja ostalim oglasnicima na globalnom tržištu.

Nadalje, govoreći o iskustvima iz Münchena, Marko još dodaje i kako je u ovom poslu vrlo važno posjećivati konferencije i upijati novo znanje jer se područje razvija strelovito brzo. Tako su na krajem listopada održanoj konferenciji ICCV – International Conference on Computer Vision ostvarili zapažen nastup i kontakte s kompanijama od Facebooka i Googla do IBM-a, eBaya i Magic Leapa.

Nadamo se da će neki od tih razgovora također uroditi plodom. Dakle, konferencije su važne, ne samo zbog znanja, već i zbog poslovnih kontakata.

Rad za međunarodne klijente od – Skandinavije do Kine

No, u razgovoru me zanimalo više i o Styrijinom odjelu Data Science koji ima fokus na strojno učenje, kompjuterski vid i Natural Language Processing (NLP).

Ljudi se često iznenade da je takav jedan R&D odjel nastao u medijskoj kući. Styria ima mnogo podataka i menadžment koji razumije važnost ulaganja u istraživanje. To su dva ključna elementa potrebna za takav razvoj. Krenuli smo početkom 2015. i okupili fantastičan tim koji sada radi za Styrijine brendove, ali i velike međunarodne klijente – od Skandinavije do Kine. Trenutno brojimo deset ljudi, no u stalnoj smo potrazi za novim kadrom.

Styrijin odjel Data Science bavi se strojnim učenjem, kompjuterskim vid i Natural Language Processingom (NLP).

Sljedeći korak? Još značajniji iskorak na globalno tržište

Za NLP projekte su nedavno dobili i Googleov grant od pola milijuna eura, a cilj je napraviti personalizirani 24sata.hr. Uz to rade i na još nekoliko projekata iz domene računalnog vida i generalno strojnog učenja, a uskoro puštaju u produkciju jednu novu funkcionalnost koju su razvili zajedno s Njuškalom.

Osim toga, svoje trenutne algoritme želimo “upakirati” u API-je koji bi bili dostupni third-party developerima. Primjerice, naš model za raspoznavanje objekata trenutno je kompetitivan i u nekim slučajevima čak i bolji od javno dostupnih API-ja iza kojih stoje najveće svjetske kompanije.

To znači da mogu ponuditi vrlo precizno i točno raspoznavanje objekata kompanija koje se bave proširenom stvarnošću ili robotikom. Marko za kraj ističe:

Iako već radimo za klijente u inozemstvu, izlazak na globalno tržište u većoj skali je sljedeći korak.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Startupi i poslovanje

Kako je Estonija postala “startup nacija”, može li to Hrvatska, kako – i kad?

Može li novoosnovana udruga Cro Startup ponoviti uspjeh koji je postigla Startup Estonia? Eve Peeterson iz te udruge ispričala je koje su promjene, inicijative i angažmani bili ključni za uspjeh.

Digitalni marketing

Na digitalno oglašavanje u Hrvatskoj u 2021. potrošeno 1,65 milijarde kuna, 75% otišlo Googleu i Meti

Na digitalno oglašavanje u Hrvatskoj u 2021. godini potrošeno je milijardu i 657 milijuna kuna, pokazalo je istraživanje digitalni AdEx koje su za HUDI (Hrvatsku udrugu digitalnih izdavača) proveli austrijska agencija Momentum i lokalni partner Ipsos.

Digitalni mediji

Urednik ukrajinskog Forbesa: “Dezinformacije nam zapravo nisu predstavljale veliki problem – Rusi su izgubili informacijski rat”

Grad bombardiraju doslovno, a vas vijestima i dojavama, "ne možete se usredotočiti na bilo što duže od 10 minuta...", prisjeća se Mykhailo prvih tjedana rata u Ukrajini. Ispričao nam je kako su u ukrajinskom Forbesu operativno i mentalno pripremali redakciju za rad u takvim okolnostima.

Što ste propustili

Mobilno

Huawei Apps UP natjecanje se vraća s nagradom od preko milijun dolara

Treću godinu zaredom Huawei bogatim fondom nagrađuje najbolje programere koji će se odvažiti na razvoj aplikacija za ekosustav Huawei mobilnih usluga.

Ekskluzivno

Prvo istraživanje o električnim romobilima u Hrvatskoj: 80 % ispitanika koristi ih umjesto auta kako bi brže stigli do cilja

Bolt je proveo prvo istraživanje o električnim romobilima u Hrvatskoj, a za Netokraciju ekskluzivno otkrivaju najzanimljivije podatke.

Startupi i poslovanje

Ovo su najinovativniji učenici, studenti i škole u Hrvatskoj koji su osvojili nagrade Digitalnog inkubatora

U velikoj završnici Digitalnog inkubatora by Hrvatski Telekom, u organizaciji Instituta za inovacije, održane su prezentacije najuspješnijih timova učenika i studenata i dodijeljene su im nagrade ukupnog novčanog fonda od 200.000 kuna. Evo kakve ideje i rješenja su predlagali...

Digitalni marketing

Anton Smolčić kao novi voditelj digitalnog marketinga pomaže Muzeju iluzija u globalnom širenju

Muzej iluzija pridobio ga je činjenicom da je to globalni projekt s ambicioznim planovima i prilika da bude dio stvaranja tog globalnog uspjeha.

Novost

Poticaji za električna vozila podijeljeni u samo 50 minuta

Već nakon jedne minute rezervirano je gotovo 30 posto sredstava, a ukupni broj prijava po prodajnom mjestu varirao je od samo pet prijava za one salone sa slabijim rezultatom pa do sveukupno 60-ak prijava za uspješnije prodajne salone.

Panel

Rok trajanja programera: Možete li 57-godišnjaka zamisliti na razgovoru za posao frontend developera?

Možete li 57-godišnjaka zamisliti na razgovoru za posao frontend developera u nekoj domaćoj IT agenciji? Zavirili smo u raspravu o tome koliki je rok trajanja programera i upitali nekoliko njih, različitih razina iskustva i pristupa karijeri, može li se do mirovine biti "samo programer".