Kako Njuškalo predlaže cijenu predmeta koji prodajete - na prvi fokus kamere

Kako Njuškalo predlaže cijenu predmeta koji prodajete – na prvi fokus kamere

Od prvotnog projekta za Njuškalo aplikaciju i razvoja foto-prepoznavanja svoja smo iskustva pretočili u još moćniji AI model i naprednije korisničko iskustvo - otkrivamo kako.

Njuškalova aplikacija za predaju oglasa na mobilnim uređajima sadrži jedan ključni element o kojem smo već imali priliku pisati na Netokraciji.

Riječ je o foto-prepoznavanju.

Nakon implementacije foto-prepoznavanja predmeta, koji odmah po fotografiranju kroz aplikaciju smješta predmet u pripadajuću kategoriju, otišli smo i korak dalje u primjeni AI modela.

Novom nadogradnjom predaja oglasa je još brža, ali daje i informaciju više. Samim otvaranjem kamere u Njuškalo aplikaciji i pozicioniranjem na predmet, korisniku se odmah prikazuje prosječna cijena, kategorija i brzina prodaje predmeta. Uz pomoć novog AI modela kojeg smo razvili, Njuškalo sada može predviđati prosječnu cijenu oglašenih predmeta kao i vrijeme koliko bi taj predmet mogao biti aktivan prije nego ga netko kupi.

Evo kako je nastao AI model koji to omogućuje…

Prvo, fokusiraj!

Novi sustav prepoznavanja danas se sastoji s nekoliko dijelova koji se izvrsno nadograđuju. Već poznati sustav foto-prepoznavanja jedan je od tih dijelova. Samo paljenjem i usmjeravanjem kamere korisnik tako sada može automatski dobiti informaciju u koju od 1400 kategorija na Njuškalu njegov oglas spada.

U tom pogledu, korisničko iskustvo nadogradili smo time da više nije potrebno fotografirati predmet, nego će aplikacija sama odraditi taj korak ako je predmet u fokusu.

Prvotno foto-prepoznavanje kao funkcionalnost Njuškalove aplikacije.

Gdje se nalazi objekt?

Dodatak na foto-prepoznavanje je i lokalizacija objekta na slici.

Postojeći sustav bio je u nedoumici ako je na slici vidljivo više različitih objekata. Informacija o lokaciji objekta na fotografiji korisniku pomaže pozicionirati kameru i pokazati na koji dio fotografije se sustav prepoznavanja fokusira.

Problem djeluje jednostavno, ali bilo je potrebno nekoliko pokušaja da dođemo do zadovoljavajućeg rješenja. Tu nam je dobro došla velika količina oglasa na Njuškalu koju smo mogli iskoristiti za dobivanje preciznijeg rezultata. Kod foto-prepoznavanja, točno možemo odrediti kojoj kategoriji pripadaju proizvodi upravo zato što imamo bogatu bazu predmeta koje su korisnici već ispravno smjestili u točne kategorije.

Uz dovoljno primjera, neuronska mreža može naučiti na kojem dijelu fotografije se objekt nalazi. Međutim, našli smo se tad pred izazovom. Usprkos velikoj količini oglasa, nijedna fotografija nema oznaku gdje se na njoj nalazi predmet koji se prodaje.

Muke po pripremi podataka

U pomoć su nam uskočili kolege studenti koji su bili na ljetnoj praksi i koji su potom sami označili znatan skup fotografija iz različitih kategorija na Njuškalu. Uz njihov trud i sve druge skupove podataka s označenom lokacijom predmeta koje smo mogli naći i dalje nismo imali dovoljno podataka za uobičajeni način treniranja neuronske mreže. Ipak, željeli smo isprobati novi pristup koji nam se činio obećavajući.

To je uključivalo postupak treniranja dodatne neuronske mreže koja bi koristila sve dostupne podatke kako bi što bolje riješila problem lokalizacije i onda navodila drugu neuronsku mrežu kako da nauči riješiti isti problem. Sam postupak se zove treniranje slabijim oznakama, ili weak-labeling. Pomalo neočekivano, ali ovim postupkom smo dobili dobar rezultat.

Predaja oglasa kroz Njuškalovu mobilnu aplikaciju nikad nije bila jednostavnija, a naprednija.

Lakše definiranje cijena – uz slike!

Kako bi korisnicima još više izašli u susret, razvili smo da sustav prepoznavanja pokuša odrediti raspon cijena za objekt u fokusu kamere i dinamiku prodaje proizvoda, a pritom da ispiše i kada je sličan predmet posljednji put prodan na Njuškalu.

Međutim, određivanje cijene proizvoda pokazalo se kao najteži problem kojeg smo riješili u ovom projektu. Nakon više pokušaja koji za nas nisu bili zadovoljavajući, pristup koji je na kraju dao dobar rezultat nije uključivao uobičajeni način treniranja neuronske mreže u kojem je ona naučila cijenu iz puno primjera predmeta i njihovih cijena – već je rješenje bila pretraga po svim oglasima na Njuškalu za fotografije najsličnije predmetu s trenutne slike. Konačna slika se potom formira kao kombinacija cijena najsličnijih oglasa.

Kako smo to izveli u praksi? Za to je u mobilnoj aplikaciji korištena kombinacija žiroskopa i repetitivnog slanja sličica na interni API Data Science tima, čiji se model prepoznavanja koristi. Samo prepoznavanje izuzetno je brzo jer se kroz mrežu šalju fotografije od samo 248 piksela dužine, što je bilo dovoljno za preciznu kategorizaciju.

Proof of Concept je prošao…

Nakon potvrde da je ideju moguće primijeniti i u realnom okruženju, sljedeći korak je bio unaprijediti stari proces predaje oglasa. Stavljanje ekrana s kamerom na sam početak procesa, korisniku smo odmah dali bitne informacije i time ga potaknuli da na istom mjestu doda nekoliko fotografija kako bi oglas bio prepoznatljiviji.

Nakon fotografiranja i upisa naslova oglasa, korisnik bira konačnu kategoriju među nekoliko preporučenih na temelju svih unesenih fotografija i naslova te može početi s upisom ostalih informacija vezanih uz sam oglas. Kako bi Njuškalo imao kontrolu nad prepoznavanjem, mobilna aplikacija više ne cilja na interni API, već ju na taj API preusmjerava Njuškalov API. Tako Njuškalo može kontrolirati kategorije, koje informacije se prikazuju i ostale vezane procese.

Uvijek može brže i pametnije?

Važno je napomenuti i da je uz ovaj proizvod izašla i unaprijeđena verzija foto-prepoznavanja, koje se sada vrši na temelju fotografije i teksta. Time smo korisnicima još i više skratili i unaprijedili predaju oglasa. Prijašnji model koji se bazirao isključivo na fotografijama ipak nije mogao biti toliko pametan da bi iz fotografije metle zaključio prodaje li korisnik metlu ili želi oglasiti uslugu čišćenja, no sadašnji i to može.

Unaprijeđenim modelom pokrili smo i situacije u kojima korisnik ne priloži fotografije, a kada će mu model moći reći gdje smjestiti oglas, samo na temelju teksta.

Korisnici su prijašnji model ocijenili s peticom i jedino što su htjeli jest da uvedemo ovu pametnu tehnologiju za sve kategorije. Novi kategorizacijski model im je upravo to i omogućio te će u odnosu na stari model povećati točnost za 10 posto.

Korisničko iskustvo koje su tražili

Osim one pozadinske AI strane, veliku ulogu u pristupačnoj predaji oglasa imali su mobile i design timovi, koji su osmislili prigodne animacije i tooltipove. Koraci od paljenja kamere do uspješne predaje oglasa osvježeni su kroz nekoliko iteracija “uštimavanja” na temelju internog alpha testiranja. Tako umjesto prijašnjih 6 koraka u optimalnom procesu, sad ih imamo samo 3:

  1. Dodavanje fotografija uz live prepoznavanje predmeta i instant informacije o tim predmetima na Njuškalu
  2. Upis naslova uz instant prijedloge kategorija koji se pojavljuju dok se naslov upisuje
  3. Dodavanje ostalih informacija o oglasu

Kako su i sami tražili, ovim projektom korisnicima smo željeli pružiti više pogodnosti prilikom same predaje oglasa, kao i potaknuti ih na predaju oglasa putem aplikacije. Trenutačna procjena vrijednosti i vremena prodaje u samo jednom kliku motivira i one neodlučne ili one koji nisu sigurni što bi htjeli i za koliko prodati. S druge strane, za one korisnike koji su cijenu određivali istraživanjem ostalih sličnih oglasa, sada postoji ovaj jedinstveni pametni prečac koji im štedi vrijeme i ubrzava prodaju.

Ako imate više pitanja o samom procesu razvoja, slobodno nam se javite u komentarima. 🙂

U pripremi članka surađivao je David Geček, Android programer u Trikoderu.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Startupi i poslovanje

Dvije strane Porscheovog ulaganja u Greyp: Mali ulagači ljuti i nezadovoljni dok se Neufund hvali povijesnim exitom

Iza najave da Porsche preuzima većinski udio u Greyp Bikes krije se priča malih ulagača koji su 2019. u Greyp uložili kroz Equity Token Offering i sad se osjećaju - izigrano i izgurano.

Novost

Developeri, recite što doista želite: šareni ured, pivo petkom, veliku plaću, dobrog šefa….

Traženi, maženi, paženi i razmaženi. Tako mediji i društvo u zadnje vrijeme doživljavaju developere. Zagrebačka IT tvrtka odlučila je provjeriti jesu li doista takvi te pitati developere što oni doista žele.

Društvene mreže

Stiže Huuk. Nova globalna društvena mreža iz Rijeke?

Gradski autobus veselih boja s pitanjem "What the Huuk are we doing tonight" koji u zadnje vrijeme vozi Rijekom i obećanje da ćete od danas, 1. prosinca moći "Proširiti svoje pleme" najavili su lansiranje nove aplikacije u tom gradu. Kakve točno saznali smo u razgovoru sa suosnivačem Mateom Starčevićem Filipovićem.

Što ste propustili

Kultura 2.0

30 godina od prvog SMS-a: 6 stvari koji su obilježile način kako komuniciramo putem poruka

SMS je zagazio u svoju 30. godinu i kako nam se čini, neće još tako lako izumrijeti. Osim toga, svaki danom nas iznenađuju novi načini komuniciranja putem poruka. Tehnologija je divna, ali što je s korisnicma koji su ključni u definiranju "kulture dopisivanja". Postoji li "online bonton"?

Startupi i poslovanje

Jedan je po struci pravnik, drugi programer. Dijele ljubav prema računalnoj sigurnosti i – humoru

Evo priče o tome kako tehnologija povezuje različite ljude, kako se nose s izazovima koje pred njih tehnologija postavlja i što je presudno važno za uspješne projekte.

Startupi i poslovanje

1 dijete, 1 robot: CircuitMess i UBIK pokreću humanitarnu akciju za djecu u domovima

Humanitarna akcija traje do 22. prosinca, a trebala bi omogućiti da svako dijete u domovima za nezbrinutu djecu u Hrvatskoj dobije barem jednog robota.

Intervju

Može li Osijek zamijeniti Irsku? Siniši se dogodilo upravo to

Hrvatsku je zbog odlaska u inozemstvo radi potrage za (boljim) poslom napustio ogroman broj ljudi. Među njima je i nemali broj IT stručnjaka. Ipak, moguć je i drugačiji scenarij ako je prilika prava…

Startupi i poslovanje

Konzum je prvi trgovački lanac u Hrvatskoj u kojem se može plaćati kriptovalutama

Konzum je uz pomoć hrvatske tvrtke Electrocoin i njihovog sustava PayCek postao prvi trgovački lanac u Hrvatskoj u kojem možete plaćati kriptovalutama.

Startupi i poslovanje

Hrvatski BE-ON za pomoć blokiranim građanima osigurao 1,3 milijuna eura od Feelsgood fonda

Prema najnovijim dostupnim podacima u Hrvatskoj je preko 240.000 ovršenih potrošača. Hrvatski BE-ON želi im pomoći financijskim savjetovanjem.