Kako Njuškalo predlaže cijenu predmeta koji prodajete - na prvi fokus kamere

Kako Njuškalo predlaže cijenu predmeta koji prodajete – na prvi fokus kamere

Od prvotnog projekta za Njuškalo aplikaciju i razvoja foto-prepoznavanja svoja smo iskustva pretočili u još moćniji AI model i naprednije korisničko iskustvo - otkrivamo kako.

Njuškalova aplikacija za predaju oglasa na mobilnim uređajima sadrži jedan ključni element o kojem smo već imali priliku pisati na Netokraciji.

Riječ je o foto-prepoznavanju.

Nakon implementacije foto-prepoznavanja predmeta, koji odmah po fotografiranju kroz aplikaciju smješta predmet u pripadajuću kategoriju, otišli smo i korak dalje u primjeni AI modela.

Novom nadogradnjom predaja oglasa je još brža, ali daje i informaciju više. Samim otvaranjem kamere u Njuškalo aplikaciji i pozicioniranjem na predmet, korisniku se odmah prikazuje prosječna cijena, kategorija i brzina prodaje predmeta. Uz pomoć novog AI modela kojeg smo razvili, Njuškalo sada može predviđati prosječnu cijenu oglašenih predmeta kao i vrijeme koliko bi taj predmet mogao biti aktivan prije nego ga netko kupi.

Evo kako je nastao AI model koji to omogućuje…

Prvo, fokusiraj!

Novi sustav prepoznavanja danas se sastoji s nekoliko dijelova koji se izvrsno nadograđuju. Već poznati sustav foto-prepoznavanja jedan je od tih dijelova. Samo paljenjem i usmjeravanjem kamere korisnik tako sada može automatski dobiti informaciju u koju od 1400 kategorija na Njuškalu njegov oglas spada.

U tom pogledu, korisničko iskustvo nadogradili smo time da više nije potrebno fotografirati predmet, nego će aplikacija sama odraditi taj korak ako je predmet u fokusu.

Prvotno foto-prepoznavanje kao funkcionalnost Njuškalove aplikacije.

Gdje se nalazi objekt?

Dodatak na foto-prepoznavanje je i lokalizacija objekta na slici.

Postojeći sustav bio je u nedoumici ako je na slici vidljivo više različitih objekata. Informacija o lokaciji objekta na fotografiji korisniku pomaže pozicionirati kameru i pokazati na koji dio fotografije se sustav prepoznavanja fokusira.

Problem djeluje jednostavno, ali bilo je potrebno nekoliko pokušaja da dođemo do zadovoljavajućeg rješenja. Tu nam je dobro došla velika količina oglasa na Njuškalu koju smo mogli iskoristiti za dobivanje preciznijeg rezultata. Kod foto-prepoznavanja, točno možemo odrediti kojoj kategoriji pripadaju proizvodi upravo zato što imamo bogatu bazu predmeta koje su korisnici već ispravno smjestili u točne kategorije.

Uz dovoljno primjera, neuronska mreža može naučiti na kojem dijelu fotografije se objekt nalazi. Međutim, našli smo se tad pred izazovom. Usprkos velikoj količini oglasa, nijedna fotografija nema oznaku gdje se na njoj nalazi predmet koji se prodaje.

Muke po pripremi podataka

U pomoć su nam uskočili kolege studenti koji su bili na ljetnoj praksi i koji su potom sami označili znatan skup fotografija iz različitih kategorija na Njuškalu. Uz njihov trud i sve druge skupove podataka s označenom lokacijom predmeta koje smo mogli naći i dalje nismo imali dovoljno podataka za uobičajeni način treniranja neuronske mreže. Ipak, željeli smo isprobati novi pristup koji nam se činio obećavajući.

To je uključivalo postupak treniranja dodatne neuronske mreže koja bi koristila sve dostupne podatke kako bi što bolje riješila problem lokalizacije i onda navodila drugu neuronsku mrežu kako da nauči riješiti isti problem. Sam postupak se zove treniranje slabijim oznakama, ili weak-labeling. Pomalo neočekivano, ali ovim postupkom smo dobili dobar rezultat.

Predaja oglasa kroz Njuškalovu mobilnu aplikaciju nikad nije bila jednostavnija, a naprednija.

Lakše definiranje cijena – uz slike!

Kako bi korisnicima još više izašli u susret, razvili smo da sustav prepoznavanja pokuša odrediti raspon cijena za objekt u fokusu kamere i dinamiku prodaje proizvoda, a pritom da ispiše i kada je sličan predmet posljednji put prodan na Njuškalu.

Međutim, određivanje cijene proizvoda pokazalo se kao najteži problem kojeg smo riješili u ovom projektu. Nakon više pokušaja koji za nas nisu bili zadovoljavajući, pristup koji je na kraju dao dobar rezultat nije uključivao uobičajeni način treniranja neuronske mreže u kojem je ona naučila cijenu iz puno primjera predmeta i njihovih cijena – već je rješenje bila pretraga po svim oglasima na Njuškalu za fotografije najsličnije predmetu s trenutne slike. Konačna slika se potom formira kao kombinacija cijena najsličnijih oglasa.

Kako smo to izveli u praksi? Za to je u mobilnoj aplikaciji korištena kombinacija žiroskopa i repetitivnog slanja sličica na interni API Data Science tima, čiji se model prepoznavanja koristi. Samo prepoznavanje izuzetno je brzo jer se kroz mrežu šalju fotografije od samo 248 piksela dužine, što je bilo dovoljno za preciznu kategorizaciju.

Proof of Concept je prošao…

Nakon potvrde da je ideju moguće primijeniti i u realnom okruženju, sljedeći korak je bio unaprijediti stari proces predaje oglasa. Stavljanje ekrana s kamerom na sam početak procesa, korisniku smo odmah dali bitne informacije i time ga potaknuli da na istom mjestu doda nekoliko fotografija kako bi oglas bio prepoznatljiviji.

Nakon fotografiranja i upisa naslova oglasa, korisnik bira konačnu kategoriju među nekoliko preporučenih na temelju svih unesenih fotografija i naslova te može početi s upisom ostalih informacija vezanih uz sam oglas. Kako bi Njuškalo imao kontrolu nad prepoznavanjem, mobilna aplikacija više ne cilja na interni API, već ju na taj API preusmjerava Njuškalov API. Tako Njuškalo može kontrolirati kategorije, koje informacije se prikazuju i ostale vezane procese.

Uvijek može brže i pametnije?

Važno je napomenuti i da je uz ovaj proizvod izašla i unaprijeđena verzija foto-prepoznavanja, koje se sada vrši na temelju fotografije i teksta. Time smo korisnicima još i više skratili i unaprijedili predaju oglasa. Prijašnji model koji se bazirao isključivo na fotografijama ipak nije mogao biti toliko pametan da bi iz fotografije metle zaključio prodaje li korisnik metlu ili želi oglasiti uslugu čišćenja, no sadašnji i to može.

Unaprijeđenim modelom pokrili smo i situacije u kojima korisnik ne priloži fotografije, a kada će mu model moći reći gdje smjestiti oglas, samo na temelju teksta.

Korisnici su prijašnji model ocijenili s peticom i jedino što su htjeli jest da uvedemo ovu pametnu tehnologiju za sve kategorije. Novi kategorizacijski model im je upravo to i omogućio te će u odnosu na stari model povećati točnost za 10 posto.

Korisničko iskustvo koje su tražili

Osim one pozadinske AI strane, veliku ulogu u pristupačnoj predaji oglasa imali su mobile i design timovi, koji su osmislili prigodne animacije i tooltipove. Koraci od paljenja kamere do uspješne predaje oglasa osvježeni su kroz nekoliko iteracija “uštimavanja” na temelju internog alpha testiranja. Tako umjesto prijašnjih 6 koraka u optimalnom procesu, sad ih imamo samo 3:

  1. Dodavanje fotografija uz live prepoznavanje predmeta i instant informacije o tim predmetima na Njuškalu
  2. Upis naslova uz instant prijedloge kategorija koji se pojavljuju dok se naslov upisuje
  3. Dodavanje ostalih informacija o oglasu

Kako su i sami tražili, ovim projektom korisnicima smo željeli pružiti više pogodnosti prilikom same predaje oglasa, kao i potaknuti ih na predaju oglasa putem aplikacije. Trenutačna procjena vrijednosti i vremena prodaje u samo jednom kliku motivira i one neodlučne ili one koji nisu sigurni što bi htjeli i za koliko prodati. S druge strane, za one korisnike koji su cijenu određivali istraživanjem ostalih sličnih oglasa, sada postoji ovaj jedinstveni pametni prečac koji im štedi vrijeme i ubrzava prodaju.

Ako imate više pitanja o samom procesu razvoja, slobodno nam se javite u komentarima. 🙂

U pripremi članka surađivao je David Geček, Android programer u Trikoderu.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Startupi i poslovanje

Nasmijali smo se ‘Otvorenom’, a unutar IT zajednice se hejtamo, ne podržavamo – i ne poznajemo?

Jučerašnje Otvoreno dokaz je da ni javnost ni država i dalje ne razumiju IT. Može li tehnološka zajednica konačno pokazati razumijevanje sama prema sebi?

Mobilno

George je nova bankarska aplikacija od Erstea – za račune u svim bankama?

Iako će Erste službeno predstaviti George tijekom tjedna, već danas otkrivamo kako će nova aplikacija (Da!) biti zamjena ne samo za Erste mBanking nego potencijalno i za druge banke koje koristite!

Startupi i poslovanje

Web stranice javnih tijela od 23.9. moraju biti pristupačne: Kako se tijela, agencije, dizajneri i developeri mogu prilagoditi?

Informacije od javnog značaja koje objavljuju javna tijela na svojim web stranicama i aplikacijama moraju biti pristupačne svima - o tome više nema rasprave. Što vas očekuje ako je pristupačnost sljedeći korak i za vas? Hrvatska agencija Neuralab dizajnirala je po novim standardima web Hrvatske banke za obnovu i razvitak - evo što su oboje naučili u procesu.

Što ste propustili

Startupi i poslovanje

Izdavačka kuća Devolver Digital preuzela Croteam, veterane hrvatske gaming scene

Najdugovječniji i najpoznatiji hrvatski gaming studio Croteam preuzima Devolver Digital, izdavač video igara koji ih je vjerno pratio kroz sva re-izdanja njihove uspješnice Serious Sama, ali i novih nastavaka koji su osvajali igrače diljem svijeta.

Intervju

Flutter nije “no-code” rješenje ni čarobni štapić, ali je odličan za brz razvoj mobilnih aplikacija

Ako niste developer, možda niste ni čuli za Flutter - a ako jeste, vjerojatno imate snažno mišljenje o njemu. U čemu je tu stvar?

Sponzorirano

WooCommerce koristi 50% hrvatskih online trgovaca, a uz Neuralab dobili su i novu opciju plaćanja – KEKS Pay

Suradnja eCommerce agencija i fintecha mogla bi - i trebala bi - biti sve češća praksa otkako je PSD2 otvorio vrata bankarskim podacima. Dobar primjer realizirao se nedavno u okviru domaćeg KEKS Paya koji je uz pomoć Neuralaba dobio priliku olakšati život tisućama novih korisnika i klijenata.

Startupi i poslovanje

200 studenata saznalo kako pokrenuti karijeru u doba COVID-19 u Nanobitu, ali i Infobipu, Infinumu i Circuitmessu

Na jučerašnjem digitalnom izdanju Digiralne Karijere u organizaciji Netokracije, FOI-ja i Nanobita govorilo se o pandemiji, praksama i prilikama za zaposlenje u digitalnoj industriji unatoč pandemiji.

Kultura 2.0

Kladarić, Šarić i Blagonić: Kako napredovati, biti inovativan i kreativan – dok radite na daljinu!

Iako je rad na daljinu mnogima nametnut, ne znači da je drugima odlično sjeo. Dapače, s Lukom Kladarićem, Marinom Šarićem i Lucijanom Blagonićem otkrivamo dobre prakse temeljene na godinama iskustva!

Mobilno

Ljuti smo na Apple… ali treba li nam još punjača?

Zašto su svi tako ljuti jer neće imati još jednu kocku za punjenje viška i kabel koji će ionako puknuti?