Kako Njuškalo predlaže cijenu predmeta koji prodajete – na prvi fokus kamere

Njuškalova aplikacija za predaju oglasa na mobilnim uređajima sadrži jedan ključni element o kojem smo već imali priliku pisati na Netokraciji.

Riječ je o foto-prepoznavanju.

Nakon implementacije foto-prepoznavanja predmeta, koji odmah po fotografiranju kroz aplikaciju smješta predmet u pripadajuću kategoriju, otišli smo i korak dalje u primjeni AI modela.

Novom nadogradnjom predaja oglasa je još brža, ali daje i informaciju više. Samim otvaranjem kamere u Njuškalo aplikaciji i pozicioniranjem na predmet, korisniku se odmah prikazuje prosječna cijena, kategorija i brzina prodaje predmeta. Uz pomoć novog AI modela kojeg smo razvili, Njuškalo sada može predviđati prosječnu cijenu oglašenih predmeta kao i vrijeme koliko bi taj predmet mogao biti aktivan prije nego ga netko kupi.

Evo kako je nastao AI model koji to omogućuje…

Prvo, fokusiraj!

Novi sustav prepoznavanja danas se sastoji s nekoliko dijelova koji se izvrsno nadograđuju. Već poznati sustav foto-prepoznavanja jedan je od tih dijelova. Samo paljenjem i usmjeravanjem kamere korisnik tako sada može automatski dobiti informaciju u koju od 1400 kategorija na Njuškalu njegov oglas spada.

U tom pogledu, korisničko iskustvo nadogradili smo time da više nije potrebno fotografirati predmet, nego će aplikacija sama odraditi taj korak ako je predmet u fokusu.

Gdje se nalazi objekt?

Dodatak na foto-prepoznavanje je i lokalizacija objekta na slici.

Postojeći sustav bio je u nedoumici ako je na slici vidljivo više različitih objekata. Informacija o lokaciji objekta na fotografiji korisniku pomaže pozicionirati kameru i pokazati na koji dio fotografije se sustav prepoznavanja fokusira.

Problem djeluje jednostavno, ali bilo je potrebno nekoliko pokušaja da dođemo do zadovoljavajućeg rješenja. Tu nam je dobro došla velika količina oglasa na Njuškalu koju smo mogli iskoristiti za dobivanje preciznijeg rezultata. Kod foto-prepoznavanja, točno možemo odrediti kojoj kategoriji pripadaju proizvodi upravo zato što imamo bogatu bazu predmeta koje su korisnici već ispravno smjestili u točne kategorije.

Uz dovoljno primjera, neuronska mreža može naučiti na kojem dijelu fotografije se objekt nalazi. Međutim, našli smo se tad pred izazovom. Usprkos velikoj količini oglasa, nijedna fotografija nema oznaku gdje se na njoj nalazi predmet koji se prodaje.

Muke po pripremi podataka

U pomoć su nam uskočili kolege studenti koji su bili na ljetnoj praksi i koji su potom sami označili znatan skup fotografija iz različitih kategorija na Njuškalu. Uz njihov trud i sve druge skupove podataka s označenom lokacijom predmeta koje smo mogli naći i dalje nismo imali dovoljno podataka za uobičajeni način treniranja neuronske mreže. Ipak, željeli smo isprobati novi pristup koji nam se činio obećavajući.

To je uključivalo postupak treniranja dodatne neuronske mreže koja bi koristila sve dostupne podatke kako bi što bolje riješila problem lokalizacije i onda navodila drugu neuronsku mrežu kako da nauči riješiti isti problem. Sam postupak se zove treniranje slabijim oznakama, ili weak-labeling. Pomalo neočekivano, ali ovim postupkom smo dobili dobar rezultat.

Lakše definiranje cijena – uz slike!

Kako bi korisnicima još više izašli u susret, razvili smo da sustav prepoznavanja pokuša odrediti raspon cijena za objekt u fokusu kamere i dinamiku prodaje proizvoda, a pritom da ispiše i kada je sličan predmet posljednji put prodan na Njuškalu.

Međutim, određivanje cijene proizvoda pokazalo se kao najteži problem kojeg smo riješili u ovom projektu. Nakon više pokušaja koji za nas nisu bili zadovoljavajući, pristup koji je na kraju dao dobar rezultat nije uključivao uobičajeni način treniranja neuronske mreže u kojem je ona naučila cijenu iz puno primjera predmeta i njihovih cijena – već je rješenje bila pretraga po svim oglasima na Njuškalu za fotografije najsličnije predmetu s trenutne slike. Konačna slika se potom formira kao kombinacija cijena najsličnijih oglasa.

Kako smo to izveli u praksi? Za to je u mobilnoj aplikaciji korištena kombinacija žiroskopa i repetitivnog slanja sličica na interni API Data Science tima, čiji se model prepoznavanja koristi. Samo prepoznavanje izuzetno je brzo jer se kroz mrežu šalju fotografije od samo 248 piksela dužine, što je bilo dovoljno za preciznu kategorizaciju.

Proof of Concept je prošao…

Nakon potvrde da je ideju moguće primijeniti i u realnom okruženju, sljedeći korak je bio unaprijediti stari proces predaje oglasa. Stavljanje ekrana s kamerom na sam početak procesa, korisniku smo odmah dali bitne informacije i time ga potaknuli da na istom mjestu doda nekoliko fotografija kako bi oglas bio prepoznatljiviji.

Nakon fotografiranja i upisa naslova oglasa, korisnik bira konačnu kategoriju među nekoliko preporučenih na temelju svih unesenih fotografija i naslova te može početi s upisom ostalih informacija vezanih uz sam oglas. Kako bi Njuškalo imao kontrolu nad prepoznavanjem, mobilna aplikacija više ne cilja na interni API, već ju na taj API preusmjerava Njuškalov API. Tako Njuškalo može kontrolirati kategorije, koje informacije se prikazuju i ostale vezane procese.

Uvijek može brže i pametnije?

Važno je napomenuti i da je uz ovaj proizvod izašla i unaprijeđena verzija foto-prepoznavanja, koje se sada vrši na temelju fotografije i teksta. Time smo korisnicima još i više skratili i unaprijedili predaju oglasa. Prijašnji model koji se bazirao isključivo na fotografijama ipak nije mogao biti toliko pametan da bi iz fotografije metle zaključio prodaje li korisnik metlu ili želi oglasiti uslugu čišćenja, no sadašnji i to može.

Unaprijeđenim modelom pokrili smo i situacije u kojima korisnik ne priloži fotografije, a kada će mu model moći reći gdje smjestiti oglas, samo na temelju teksta.

Korisnici su prijašnji model ocijenili s peticom i jedino što su htjeli jest da uvedemo ovu pametnu tehnologiju za sve kategorije. Novi kategorizacijski model im je upravo to i omogućio te će u odnosu na stari model povećati točnost za 10 posto.

Korisničko iskustvo koje su tražili

Osim one pozadinske AI strane, veliku ulogu u pristupačnoj predaji oglasa imali su mobile i design timovi, koji su osmislili prigodne animacije i tooltipove. Koraci od paljenja kamere do uspješne predaje oglasa osvježeni su kroz nekoliko iteracija “uštimavanja” na temelju internog alpha testiranja. Tako umjesto prijašnjih 6 koraka u optimalnom procesu, sad ih imamo samo 3:

1. Dodavanje fotografija uz live prepoznavanje predmeta i instant informacije o tim predmetima na Njuškalu
2. Upis naslova uz instant prijedloge kategorija koji se pojavljuju dok se naslov upisuje
3. Dodavanje ostalih informacija o oglasu

Kako su i sami tražili, ovim projektom korisnicima smo željeli pružiti više pogodnosti prilikom same predaje oglasa, kao i potaknuti ih na predaju oglasa putem aplikacije. Trenutačna procjena vrijednosti i vremena prodaje u samo jednom kliku motivira i one neodlučne ili one koji nisu sigurni što bi htjeli i za koliko prodati. S druge strane, za one korisnike koji su cijenu određivali istraživanjem ostalih sličnih oglasa, sada postoji ovaj jedinstveni pametni prečac koji im štedi vrijeme i ubrzava prodaju.

Ako imate više pitanja o samom procesu razvoja, slobodno nam se javite u komentarima. 🙂

U pripremi članka surađivao je David Geček, Android programer u Trikoderu.