Kako Njuškalo predlaže cijenu predmeta koji prodajete - na prvi fokus kamere

Kako Njuškalo predlaže cijenu predmeta koji prodajete – na prvi fokus kamere

Od prvotnog projekta za Njuškalo aplikaciju i razvoja foto-prepoznavanja svoja smo iskustva pretočili u još moćniji AI model i naprednije korisničko iskustvo - otkrivamo kako.

Njuškalova aplikacija za predaju oglasa na mobilnim uređajima sadrži jedan ključni element o kojem smo već imali priliku pisati na Netokraciji.

Riječ je o foto-prepoznavanju.

Nakon implementacije foto-prepoznavanja predmeta, koji odmah po fotografiranju kroz aplikaciju smješta predmet u pripadajuću kategoriju, otišli smo i korak dalje u primjeni AI modela.

Novom nadogradnjom predaja oglasa je još brža, ali daje i informaciju više. Samim otvaranjem kamere u Njuškalo aplikaciji i pozicioniranjem na predmet, korisniku se odmah prikazuje prosječna cijena, kategorija i brzina prodaje predmeta. Uz pomoć novog AI modela kojeg smo razvili, Njuškalo sada može predviđati prosječnu cijenu oglašenih predmeta kao i vrijeme koliko bi taj predmet mogao biti aktivan prije nego ga netko kupi.

Evo kako je nastao AI model koji to omogućuje…

Prvo, fokusiraj!

Novi sustav prepoznavanja danas se sastoji s nekoliko dijelova koji se izvrsno nadograđuju. Već poznati sustav foto-prepoznavanja jedan je od tih dijelova. Samo paljenjem i usmjeravanjem kamere korisnik tako sada može automatski dobiti informaciju u koju od 1400 kategorija na Njuškalu njegov oglas spada.

U tom pogledu, korisničko iskustvo nadogradili smo time da više nije potrebno fotografirati predmet, nego će aplikacija sama odraditi taj korak ako je predmet u fokusu.

Prvotno foto-prepoznavanje kao funkcionalnost Njuškalove aplikacije.

Gdje se nalazi objekt?

Dodatak na foto-prepoznavanje je i lokalizacija objekta na slici.

Postojeći sustav bio je u nedoumici ako je na slici vidljivo više različitih objekata. Informacija o lokaciji objekta na fotografiji korisniku pomaže pozicionirati kameru i pokazati na koji dio fotografije se sustav prepoznavanja fokusira.

Problem djeluje jednostavno, ali bilo je potrebno nekoliko pokušaja da dođemo do zadovoljavajućeg rješenja. Tu nam je dobro došla velika količina oglasa na Njuškalu koju smo mogli iskoristiti za dobivanje preciznijeg rezultata. Kod foto-prepoznavanja, točno možemo odrediti kojoj kategoriji pripadaju proizvodi upravo zato što imamo bogatu bazu predmeta koje su korisnici već ispravno smjestili u točne kategorije.

Uz dovoljno primjera, neuronska mreža može naučiti na kojem dijelu fotografije se objekt nalazi. Međutim, našli smo se tad pred izazovom. Usprkos velikoj količini oglasa, nijedna fotografija nema oznaku gdje se na njoj nalazi predmet koji se prodaje.

Muke po pripremi podataka

U pomoć su nam uskočili kolege studenti koji su bili na ljetnoj praksi i koji su potom sami označili znatan skup fotografija iz različitih kategorija na Njuškalu. Uz njihov trud i sve druge skupove podataka s označenom lokacijom predmeta koje smo mogli naći i dalje nismo imali dovoljno podataka za uobičajeni način treniranja neuronske mreže. Ipak, željeli smo isprobati novi pristup koji nam se činio obećavajući.

To je uključivalo postupak treniranja dodatne neuronske mreže koja bi koristila sve dostupne podatke kako bi što bolje riješila problem lokalizacije i onda navodila drugu neuronsku mrežu kako da nauči riješiti isti problem. Sam postupak se zove treniranje slabijim oznakama, ili weak-labeling. Pomalo neočekivano, ali ovim postupkom smo dobili dobar rezultat.

Predaja oglasa kroz Njuškalovu mobilnu aplikaciju nikad nije bila jednostavnija, a naprednija.

Lakše definiranje cijena – uz slike!

Kako bi korisnicima još više izašli u susret, razvili smo da sustav prepoznavanja pokuša odrediti raspon cijena za objekt u fokusu kamere i dinamiku prodaje proizvoda, a pritom da ispiše i kada je sličan predmet posljednji put prodan na Njuškalu.

Međutim, određivanje cijene proizvoda pokazalo se kao najteži problem kojeg smo riješili u ovom projektu. Nakon više pokušaja koji za nas nisu bili zadovoljavajući, pristup koji je na kraju dao dobar rezultat nije uključivao uobičajeni način treniranja neuronske mreže u kojem je ona naučila cijenu iz puno primjera predmeta i njihovih cijena – već je rješenje bila pretraga po svim oglasima na Njuškalu za fotografije najsličnije predmetu s trenutne slike. Konačna slika se potom formira kao kombinacija cijena najsličnijih oglasa.

Kako smo to izveli u praksi? Za to je u mobilnoj aplikaciji korištena kombinacija žiroskopa i repetitivnog slanja sličica na interni API Data Science tima, čiji se model prepoznavanja koristi. Samo prepoznavanje izuzetno je brzo jer se kroz mrežu šalju fotografije od samo 248 piksela dužine, što je bilo dovoljno za preciznu kategorizaciju.

Proof of Concept je prošao…

Nakon potvrde da je ideju moguće primijeniti i u realnom okruženju, sljedeći korak je bio unaprijediti stari proces predaje oglasa. Stavljanje ekrana s kamerom na sam početak procesa, korisniku smo odmah dali bitne informacije i time ga potaknuli da na istom mjestu doda nekoliko fotografija kako bi oglas bio prepoznatljiviji.

Nakon fotografiranja i upisa naslova oglasa, korisnik bira konačnu kategoriju među nekoliko preporučenih na temelju svih unesenih fotografija i naslova te može početi s upisom ostalih informacija vezanih uz sam oglas. Kako bi Njuškalo imao kontrolu nad prepoznavanjem, mobilna aplikacija više ne cilja na interni API, već ju na taj API preusmjerava Njuškalov API. Tako Njuškalo može kontrolirati kategorije, koje informacije se prikazuju i ostale vezane procese.

Uvijek može brže i pametnije?

Važno je napomenuti i da je uz ovaj proizvod izašla i unaprijeđena verzija foto-prepoznavanja, koje se sada vrši na temelju fotografije i teksta. Time smo korisnicima još i više skratili i unaprijedili predaju oglasa. Prijašnji model koji se bazirao isključivo na fotografijama ipak nije mogao biti toliko pametan da bi iz fotografije metle zaključio prodaje li korisnik metlu ili želi oglasiti uslugu čišćenja, no sadašnji i to može.

Unaprijeđenim modelom pokrili smo i situacije u kojima korisnik ne priloži fotografije, a kada će mu model moći reći gdje smjestiti oglas, samo na temelju teksta.

Korisnici su prijašnji model ocijenili s peticom i jedino što su htjeli jest da uvedemo ovu pametnu tehnologiju za sve kategorije. Novi kategorizacijski model im je upravo to i omogućio te će u odnosu na stari model povećati točnost za 10 posto.

Korisničko iskustvo koje su tražili

Osim one pozadinske AI strane, veliku ulogu u pristupačnoj predaji oglasa imali su mobile i design timovi, koji su osmislili prigodne animacije i tooltipove. Koraci od paljenja kamere do uspješne predaje oglasa osvježeni su kroz nekoliko iteracija “uštimavanja” na temelju internog alpha testiranja. Tako umjesto prijašnjih 6 koraka u optimalnom procesu, sad ih imamo samo 3:

  1. Dodavanje fotografija uz live prepoznavanje predmeta i instant informacije o tim predmetima na Njuškalu
  2. Upis naslova uz instant prijedloge kategorija koji se pojavljuju dok se naslov upisuje
  3. Dodavanje ostalih informacija o oglasu

Kako su i sami tražili, ovim projektom korisnicima smo željeli pružiti više pogodnosti prilikom same predaje oglasa, kao i potaknuti ih na predaju oglasa putem aplikacije. Trenutačna procjena vrijednosti i vremena prodaje u samo jednom kliku motivira i one neodlučne ili one koji nisu sigurni što bi htjeli i za koliko prodati. S druge strane, za one korisnike koji su cijenu određivali istraživanjem ostalih sličnih oglasa, sada postoji ovaj jedinstveni pametni prečac koji im štedi vrijeme i ubrzava prodaju.

Ako imate više pitanja o samom procesu razvoja, slobodno nam se javite u komentarima. 🙂

U pripremi članka surađivao je David Geček, Android programer u Trikoderu.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Izvještaj

Kako je Estonija postala “startup nacija”, može li to Hrvatska, kako – i kad?

Može li novoosnovana udruga Cro Startup ponoviti uspjeh koji je postigla Startup Estonia? Eve Peeterson iz te udruge ispričala je koje su promjene, inicijative i angažmani bili ključni za uspjeh.

Digitalni marketing

Na digitalno oglašavanje u Hrvatskoj u 2021. potrošeno 1,65 milijarde kuna, 75% otišlo Googleu i Meti

Na digitalno oglašavanje u Hrvatskoj u 2021. godini potrošeno je milijardu i 657 milijuna kuna, pokazalo je istraživanje digitalni AdEx koje su za HUDI (Hrvatsku udrugu digitalnih izdavača) proveli austrijska agencija Momentum i lokalni partner Ipsos.

Panel

Rok trajanja programera: Možete li 57-godišnjaka zamisliti na razgovoru za posao frontend developera?

Možete li 57-godišnjaka zamisliti na razgovoru za posao frontend developera u nekoj domaćoj IT agenciji? Zavirili smo u raspravu o tome koliki je rok trajanja programera i upitali nekoliko njih, različitih razina iskustva i pristupa karijeri, može li se do mirovine biti "samo programer".

Što ste propustili

Startupi i poslovanje

Upoznajte 13 hrvatskih healthtech timova “Get Started in Health Innovation” programa

Pred vama je prva generacija jedinog programa u Hrvatskoj koji se sustavno posvetio podršci stručnjaka koji žele razvijati nešto u segmentu healthtecha. Njihova rješenja fokusirana su na razne probleme u zdravstvenom sustavu: od alata za efikasnije pružanje zdravstvene pomoći, ali i onih koji olakšavaju rad samih zdravstvenih djelatnika do rješenja koja i pacijentima omogućavaju jednostavnije pratiti svoje zdravstveno stanje.

Intervju

Kako je softverski inženjer s Kube našao svoju oazu u Microsoftovom razvojnom centru

Iz daleke Havane na Kubi, softverski inženjer Arnaldo Perez stigao je u Microsoftov razvojni centar u Srbiji. Kako, zašto, u kojem timu i što danas radi, kako se privikao na novo okruženje te što je naučio u zadnje četiri godine radeći u Microsoftu i regiji, saznali smo u intervjuu.

Nesortirano

Combisu nagrada Microsoft Partner of the Year 2022 u Hrvatskoj

Combis je osvojio prestižnu godišnju nagradu američke tehnološke kompanije Microsoft za Hrvatsku.

Mobilno

Huawei Apps UP natjecanje se vraća s nagradom od preko milijun dolara

Treću godinu zaredom Huawei bogatim fondom nagrađuje najbolje programere koji će se odvažiti na razvoj aplikacija za ekosustav Huawei mobilnih usluga.

Kultura 2.0

Prvo istraživanje o električnim romobilima u Hrvatskoj: 80 % ispitanika koristi ih umjesto auta kako bi brže stigli do cilja

Bolt je proveo prvo istraživanje o električnim romobilima u Hrvatskoj, a za Netokraciju ekskluzivno otkrivaju najzanimljivije podatke.

Startupi i poslovanje

Ovo su najinovativniji učenici, studenti i škole u Hrvatskoj koji su osvojili nagrade Digitalnog inkubatora

U velikoj završnici Digitalnog inkubatora by Hrvatski Telekom, u organizaciji Instituta za inovacije, održane su prezentacije najuspješnijih timova učenika i studenata i dodijeljene su im nagrade ukupnog novčanog fonda od 200.000 kuna. Evo kakve ideje i rješenja su predlagali...