Kako Njuškalo predlaže cijenu predmeta koji prodajete - na prvi fokus kamere

Kako Njuškalo predlaže cijenu predmeta koji prodajete – na prvi fokus kamere

Od prvotnog projekta za Njuškalo aplikaciju i razvoja foto-prepoznavanja svoja smo iskustva pretočili u još moćniji AI model i naprednije korisničko iskustvo - otkrivamo kako.

Njuškalova aplikacija za predaju oglasa na mobilnim uređajima sadrži jedan ključni element o kojem smo već imali priliku pisati na Netokraciji.

Riječ je o foto-prepoznavanju.

Nakon implementacije foto-prepoznavanja predmeta, koji odmah po fotografiranju kroz aplikaciju smješta predmet u pripadajuću kategoriju, otišli smo i korak dalje u primjeni AI modela.

Novom nadogradnjom predaja oglasa je još brža, ali daje i informaciju više. Samim otvaranjem kamere u Njuškalo aplikaciji i pozicioniranjem na predmet, korisniku se odmah prikazuje prosječna cijena, kategorija i brzina prodaje predmeta. Uz pomoć novog AI modela kojeg smo razvili, Njuškalo sada može predviđati prosječnu cijenu oglašenih predmeta kao i vrijeme koliko bi taj predmet mogao biti aktivan prije nego ga netko kupi.

Evo kako je nastao AI model koji to omogućuje…

Prvo, fokusiraj!

Novi sustav prepoznavanja danas se sastoji s nekoliko dijelova koji se izvrsno nadograđuju. Već poznati sustav foto-prepoznavanja jedan je od tih dijelova. Samo paljenjem i usmjeravanjem kamere korisnik tako sada može automatski dobiti informaciju u koju od 1400 kategorija na Njuškalu njegov oglas spada.

U tom pogledu, korisničko iskustvo nadogradili smo time da više nije potrebno fotografirati predmet, nego će aplikacija sama odraditi taj korak ako je predmet u fokusu.

Prvotno foto-prepoznavanje kao funkcionalnost Njuškalove aplikacije.

Gdje se nalazi objekt?

Dodatak na foto-prepoznavanje je i lokalizacija objekta na slici.

Postojeći sustav bio je u nedoumici ako je na slici vidljivo više različitih objekata. Informacija o lokaciji objekta na fotografiji korisniku pomaže pozicionirati kameru i pokazati na koji dio fotografije se sustav prepoznavanja fokusira.

Problem djeluje jednostavno, ali bilo je potrebno nekoliko pokušaja da dođemo do zadovoljavajućeg rješenja. Tu nam je dobro došla velika količina oglasa na Njuškalu koju smo mogli iskoristiti za dobivanje preciznijeg rezultata. Kod foto-prepoznavanja, točno možemo odrediti kojoj kategoriji pripadaju proizvodi upravo zato što imamo bogatu bazu predmeta koje su korisnici već ispravno smjestili u točne kategorije.

Uz dovoljno primjera, neuronska mreža može naučiti na kojem dijelu fotografije se objekt nalazi. Međutim, našli smo se tad pred izazovom. Usprkos velikoj količini oglasa, nijedna fotografija nema oznaku gdje se na njoj nalazi predmet koji se prodaje.

Muke po pripremi podataka

U pomoć su nam uskočili kolege studenti koji su bili na ljetnoj praksi i koji su potom sami označili znatan skup fotografija iz različitih kategorija na Njuškalu. Uz njihov trud i sve druge skupove podataka s označenom lokacijom predmeta koje smo mogli naći i dalje nismo imali dovoljno podataka za uobičajeni način treniranja neuronske mreže. Ipak, željeli smo isprobati novi pristup koji nam se činio obećavajući.

To je uključivalo postupak treniranja dodatne neuronske mreže koja bi koristila sve dostupne podatke kako bi što bolje riješila problem lokalizacije i onda navodila drugu neuronsku mrežu kako da nauči riješiti isti problem. Sam postupak se zove treniranje slabijim oznakama, ili weak-labeling. Pomalo neočekivano, ali ovim postupkom smo dobili dobar rezultat.

Predaja oglasa kroz Njuškalovu mobilnu aplikaciju nikad nije bila jednostavnija, a naprednija.

Lakše definiranje cijena – uz slike!

Kako bi korisnicima još više izašli u susret, razvili smo da sustav prepoznavanja pokuša odrediti raspon cijena za objekt u fokusu kamere i dinamiku prodaje proizvoda, a pritom da ispiše i kada je sličan predmet posljednji put prodan na Njuškalu.

Međutim, određivanje cijene proizvoda pokazalo se kao najteži problem kojeg smo riješili u ovom projektu. Nakon više pokušaja koji za nas nisu bili zadovoljavajući, pristup koji je na kraju dao dobar rezultat nije uključivao uobičajeni način treniranja neuronske mreže u kojem je ona naučila cijenu iz puno primjera predmeta i njihovih cijena – već je rješenje bila pretraga po svim oglasima na Njuškalu za fotografije najsličnije predmetu s trenutne slike. Konačna slika se potom formira kao kombinacija cijena najsličnijih oglasa.

Kako smo to izveli u praksi? Za to je u mobilnoj aplikaciji korištena kombinacija žiroskopa i repetitivnog slanja sličica na interni API Data Science tima, čiji se model prepoznavanja koristi. Samo prepoznavanje izuzetno je brzo jer se kroz mrežu šalju fotografije od samo 248 piksela dužine, što je bilo dovoljno za preciznu kategorizaciju.

Proof of Concept je prošao…

Nakon potvrde da je ideju moguće primijeniti i u realnom okruženju, sljedeći korak je bio unaprijediti stari proces predaje oglasa. Stavljanje ekrana s kamerom na sam početak procesa, korisniku smo odmah dali bitne informacije i time ga potaknuli da na istom mjestu doda nekoliko fotografija kako bi oglas bio prepoznatljiviji.

Nakon fotografiranja i upisa naslova oglasa, korisnik bira konačnu kategoriju među nekoliko preporučenih na temelju svih unesenih fotografija i naslova te može početi s upisom ostalih informacija vezanih uz sam oglas. Kako bi Njuškalo imao kontrolu nad prepoznavanjem, mobilna aplikacija više ne cilja na interni API, već ju na taj API preusmjerava Njuškalov API. Tako Njuškalo može kontrolirati kategorije, koje informacije se prikazuju i ostale vezane procese.

Uvijek može brže i pametnije?

Važno je napomenuti i da je uz ovaj proizvod izašla i unaprijeđena verzija foto-prepoznavanja, koje se sada vrši na temelju fotografije i teksta. Time smo korisnicima još i više skratili i unaprijedili predaju oglasa. Prijašnji model koji se bazirao isključivo na fotografijama ipak nije mogao biti toliko pametan da bi iz fotografije metle zaključio prodaje li korisnik metlu ili želi oglasiti uslugu čišćenja, no sadašnji i to može.

Unaprijeđenim modelom pokrili smo i situacije u kojima korisnik ne priloži fotografije, a kada će mu model moći reći gdje smjestiti oglas, samo na temelju teksta.

Korisnici su prijašnji model ocijenili s peticom i jedino što su htjeli jest da uvedemo ovu pametnu tehnologiju za sve kategorije. Novi kategorizacijski model im je upravo to i omogućio te će u odnosu na stari model povećati točnost za 10 posto.

Korisničko iskustvo koje su tražili

Osim one pozadinske AI strane, veliku ulogu u pristupačnoj predaji oglasa imali su mobile i design timovi, koji su osmislili prigodne animacije i tooltipove. Koraci od paljenja kamere do uspješne predaje oglasa osvježeni su kroz nekoliko iteracija “uštimavanja” na temelju internog alpha testiranja. Tako umjesto prijašnjih 6 koraka u optimalnom procesu, sad ih imamo samo 3:

  1. Dodavanje fotografija uz live prepoznavanje predmeta i instant informacije o tim predmetima na Njuškalu
  2. Upis naslova uz instant prijedloge kategorija koji se pojavljuju dok se naslov upisuje
  3. Dodavanje ostalih informacija o oglasu

Kako su i sami tražili, ovim projektom korisnicima smo željeli pružiti više pogodnosti prilikom same predaje oglasa, kao i potaknuti ih na predaju oglasa putem aplikacije. Trenutačna procjena vrijednosti i vremena prodaje u samo jednom kliku motivira i one neodlučne ili one koji nisu sigurni što bi htjeli i za koliko prodati. S druge strane, za one korisnike koji su cijenu određivali istraživanjem ostalih sličnih oglasa, sada postoji ovaj jedinstveni pametni prečac koji im štedi vrijeme i ubrzava prodaju.

Ako imate više pitanja o samom procesu razvoja, slobodno nam se javite u komentarima. 🙂

U pripremi članka surađivao je David Geček, Android programer u Trikoderu.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Komentari

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Tehnologija

Modrić, papige i printeri znaju da nas roboti neće zamijeniti

Poplava GPT-4 gurua i Microsoft vs Google utrke stvara dojam friške revolucije, no umjetna inteligencija već desetljećima skriva iste kosture u ormaru. Dobrih ideja i rješenja ima mnogo. Lovaca u mutnom vjerojatno i više. Pitanje je samo - tko će biti glasniji?

Društvene mreže

Sve više mama-influencerica skriva lica svoje djece s interneta. I to je ispravna odluka.

Djeca influencera i djeca influenceri koja su odrasla na internetu danas na pragu zrelosti osvještavaju da im se zapravo nije sviđalo djetinjstvo pred kamerama i u suradnjama s brendovima. Ujedno je i sve više i daleko ozbiljnijih situacija gdje iskorištavanje djece na internetu graniči s kaznenim djelima.

Analiza

TABU: Juniorke u IT-ju imaju 4 %, a seniorke čak 18 % manju plaću od svojih muških kolega

Kako su plaćene žene u IT industriji, za iste godine iskustva, u odnosu na svoje muške kolege? Otvorilo se to pitanje prije pola godine s najnovijim izvještajem platforme TABU, danas mu se vraćamo da vidimo ima li promjena.

Što ste propustili

Tvrtke i poslovanje

Hrvatski inspektori dio su EU projekta kontrole razvoja AI-ja vrijednog 3,5 milijardi eura

Impresionirani učinkovitošću hrvatskih inspektora, koji su već u prvih 310 posjeta identificirali 168 slučajeva doprinosa razvoju AI-ja, EU je potvrdila uključenost hrvatskog kadra u programu nadzora.

Kolumna

Evo zašto je poznavanje hrane i vina ključno za uspjeh hrvatskog IT-ja

Osnivači startupa teško da će zadobiti povjerenje investitora ako ne poznaju vina ili naručuju dobro pečene bifteke.

Novost

Otpušteni programeri iz “big techa” završit će u Hrvatskoj: Apis IT planira ih zaposliti 1800

Hrvatska želi “uvesti” i zaposliti otpuštene programere i ostale tehnološke stručnjake iz Googlea, Facebooka, Microsofta i Twittera kao digitalne nomade za potrebe novog projekta daljnje digitalizacije javne uprave na kojemu radi Apis IT.

Digitalni marketing

Svaki bi brend trebao napustiti generičnu “stock” glazbu i razviti svoj – audio identitet!

Iako postoje mnoge "royalty free" glazbene platforme koje nude kvalitetnu glazbu, većina video oglasa napravljena je s glazbom koja zvuči generičko i jeftino. Razlog tome djelomično je loš ukus, manjak hrabrosti ili kreativne vizije menadžmenta, a djelomično manjak vremena posvećen kuriranju kvalitetne glazbe koja zvuči drugačije, ali je konzistentna s brendom.

Gaming

Uskoro kreće 4. sezona Student Esports Tournamenta! Hoće li TVZ ostati nepokoreni prvak?

Idući tjedan počinje nova sezona SET-a, domaćeg esport turnira koji je uspio okupiti 16 tehničkih fakulteta iz svih dijelova Hrvatske, a uz to je postao i nacionalni kvalifikacijski turnir za Amazonov i Intelov University Esports Masters (AUEM)!

Izvještaj

Domaću kreativnu industriju čekaju teški pregovori s Googleom

Iako donosi više od 830 milijuna eura u hrvatski BDP, kreativna industrija još nema u potpunosti odgovarajuću zaštitu i druge uvjete za neometan rad na digitalnom tržištu.