Gideon: Nisu mogli pronaći odgovarajuću kameru za svoje robote, pa su je sami razvili!

Gideon: Nisu mogli pronaći odgovarajuću kameru za svoje robote, pa su je sami razvili!

Rastuća potreba za radnom snagom aktualizira i pitanje automatizacije mnogih poslova, a time i upotrebu autonomnih robota koji ni u Hrvatskoj više nisu u sferi znanstvene fantastike ponajprije zahvaljujući tvrtki Gideon. Međutim, ta mlada industrijska grana s ogromnim potencijalom još se uvijek suočava s mnogim izazovima, a jedan od najvećih je razviti robota s percepcijom nalik ljudskoj. Odmah vam je jasno da ključnu ulogu u tom segmentu ima računalni vid, a time i odabir odgovarajuće kamere.

Miroslav Rožić, voditelj Gideonova tima za razvoj stereovizijske kamere, otkrio nam je zašto su i kako napravili vlastitu kameru. No prije toga dobro je razjasniti koje sve poslove u autonomnom robotu ona obavlja.

Bez kamere autonomni robot i nije osobito autonoman

Kamera je kod autonomnih robota zapravo esencijalan dio opreme koji omogućava da se robot može kretati u prostoru i obavljati svoj posao, objašnjava Miroslav:

Kod autonomnih mobilnih robota percepcija okoline važna je kako bi se robot mogao sigurno i efikasno kretati. Mnogi roboti se pritom oslanjaju samo na dvodimenzionalnu informaciju koja im omogućava rad u relativno jednostavnim i strukturiranim okruženjima. No za snalaženje u kompleksnim i nestrukturiranim okruženjima koja uključuju čovjeka i druge objekte u pokretu nužna je kvalitetna trodimenzionalna percepcija prostora.

Osim informacija o pozicijama i relativnim udaljenostima objekata oko robota računalni vid ima još jednu bitnu prednost:

Pruža i semantičku informaciju − omogućava nam da raspoznamo i kategoriziramo objekte oko robota (zid, pod, čovjek, paleta, prepreka, teret, regal, viličar itd.) i time omogućimo robotu da optimalno prilagodi ponašanje prema svojoj okolini

Petar K. Furjan

I ne, to nije sve. 3D vid se koristi i za navigaciju robota omogućavajući izbjegavanje statičkih i dinamičkih prepreka (poput ljudi), izgradnju karte prostora i lokalizaciju unutar nje praćenjem ključnih značajki pojedine scene, te manipuliranje objektima u prostoru. 

3D informacija pritom omogućuje da kvalitetno odredimo pozu objekta kojim želimo manipulirati, objašnjava Miroslav, i da ispravno navedemo robota da to odradi. Na primjer, da robot nađe točnu poziciju palete ostavljene na podu i pokupi je.

Malo svjetla i kaotična kretanja – kakva kamera se može snaći u takvom okruženju?

Njihovu potragu za kamerom odgovarajućih karakteristika i performansi diktirala su okruženja u kojima rade njihovi roboti, a to su industrijski pogoni i skladišta. Rad u takvim okolnostima je dinamičan, s naoko kaotičnim kretanjem ljudi i vozila poput viličara, što je zahtijevalo kameru koja je ultra širokokutna kako bi se potencijalne pokretne prepreke uočile na vrijeme da se izbjegne sudar. 

U prilagodbi tipičnim okruženjima najveći im je, pak, izazov bio standard osvjetljenja tih prostorija od oko 300 luksa, što odgovara razini svjetla koju na otvorenom imamo u ranu zoru ili sumrak.

Zato je bilo potrebno pronaći kameru s kombinacijom senzora i leće koja može dati kvalitetnu sliku u uvjetima niskog osvjetljenja. Ujedno je senzor trebao biti s tzv. globalnim zatvaračem (s obzirom na to da se robot kreće) kako bi se izbjegle distorzije koje se obično vide kad snimate mobitelom iz jurećeg auta ili u onim videima gdje ljudi snimaju žice gitare kako lelujaju (tzv. Rolling Shutter Effect). 

Kako roboti uglavnom rade u velikim prostorima, to je predstavljalo dodatni izazov, jer je potreban što veći razmak između dviju kamera stereopara (fotografske snimke istog objekta dobivene snimanjem s dviju pozicija). Kod stereokamera koje omogućavaju snimanje većih prostora, točnost i preciznost mjerenja dubine prostora na većim udaljenostima ponajviše ovise o tom parametru, a prostori u kojima djeluju Gideonovi roboti nerijetko su vrlo veliki, a ključne točke kojima se utvrđuje pozicija robota veoma udaljene od robota. 

Mnogo zahtjeva, a malo gotovih rješenja

Kada se sve te potrebe zbroji, popis zahtjeva je poprilično dugačak i naći pravo rješenje se pokazalo kao velik izazov:

Tražili smo pasivnu stereokameru jer smo ustanovili da rješenja koja koriste dodatne izvore svjetla (poput Time-of-flight 3D kamera i kamera koje koriste strukturirano svjetlo) imaju ograničenja pri korištenju na vozilu koje se kreće ili ne zadovoljavaju neki od ranije navedenih kriterija. Ujedno nam je bilo bitno da kamera daje sliku u boji koja je što više (u idealnom slučaju potpuno) poravnata s mapom mjerenih dubina u prostoru, što se najbolje postiže kod pasivnih stereovizijskih kamera.

Tražili smo robustan sustav koji bi se integrirao u vozilo koristeći industrijske standarde napajanja i povezivanja. I povrh svega, željeli smo kameru koja sama obrađuje sliku i ne stavlja dodatno opterećenje na ionako već dosta opterećeno glavno računalo robota.

Stereo Vision Team: dr.sc. Miroslav Rožić, dr.sc. Nikola Banić, Tome Radman, Matko Brnić, Marija Knežević Barić, Luka Karlić (odozgo prema dolje i s lijeva nadesno)

Ni gaming kamera nije zadovoljila uvjete

U Gideonu su isprobali niz postojećih rješenja prije nego su se odvažili na avanturu razvoja vlastite kamere, no svakoj je nešto nedostajalo. Zanimljiva je činjenica da je jedan od obećavajućih kandidata bila kamera kakvu ima popularna igraća konzola Xbox: 

U istraživačkim krugovima dugo je bila iznimno popularna Microsoftova kamera Kinect, čije su karakteristike mnogi hvalili te je ona bila među prvim kamerama koje su bile evaluirane. Nažalost, u industrijskoj inačici ta kamera nikada nije zaživjela jer je tvrtka koja je proizvodila tehnologiju za tu kameru akvizirana i tehnologija je povučena s tržišta.

Isprobana su druga često viđena rješenja na tržištu koja se mogu vidjeti u raznim robotima, poput kamere Intel RealSense i Stereolabs ZED-a. No niti jedna kamera nije adekvatno pokrivala sve kriterije koji bi omogućili rad u zahtjevnim okruženjima kao što su skladišta.

Iako ni jedna kamera nije zadovoljavala sve uvjete, neke od njih su dugo koristili, zaobilazeći njihova ograničenja kao što su premalen domet kamere, loša poravnatost slike i mape udaljenosti, ograničen kut gledanja i slično.

Tri godine za razvoj vlastitog modula

Nastavljajući s eksperimentima i razvojem algoritama, došli su do ideje o razvoju vlastitog rješenja. 

Tijekom razvoja raznih algoritama razumijevanja prostora u 3D-u eksperimentiralo se sa stereoparom sastavljenim od standardnih industrijskih kamera, što je polučilo obećavajuće rezultate. U tom trenu bila je riječ o algoritmima kao što su trodimenzionalna lokalizacija i gusto mapiranje prostora. Eksperimentiranje je pokazalo da integrirano rješenje koje uključuje dodatno računalo za obradu slike uz sam stereopar ima najviše potencijala za buduće aplikacije.

Tu se prvi put javlja ideja onoga što danas zovemo Vision Module − sustav neovisnih kamera i računala integriranih u sustav koji bi zadovoljio sve gore navedene karakteristike te omogućio dodatno rasterećenje glavnog računala tako da se vizualni algoritmi prebace na njega.

Razvoj kamere – točnije, modula – traje već tri godine, a Miroslav priznaje da vjerojatno nema dijela koji se nije pokazao izazovnim: 

S hardverskog aspekta glavni su izazovi bili pronaći i integrirati dovoljno kompaktno, a snažno računalo koje bi moglo obrađivati sliku s kamera adekvatnom brzinom, ali također i kamere željenih karakteristika pogodne za integraciju.

Iz perspektive softvera razvoj arhitekture cjevovoda za obradu slika te samog stereoalgoritma bio je konstantno hrvanje sa sindromom “not-invented-here” – trebalo je odlučiti što ćemo raditi sami od nule, a za što koristiti gotove, postojeće biblioteke uz ograničene resurse na raspolaganju.

Na kraju su uspjeli postići balans i inovirati tamo gdje je bitno koncentrirajući se na dodanu vrijednost i kvalitetu finalnog proizvoda, objašnjava Miroslav. Krajnje neizvjestan, a na kraju vrlo uspješan pothvat bio je razvoj i integracija hibridnog algoritma za estimaciju dubine prostora temeljenog na klasičnoj metodi u kombinaciji s dubokim neuronskim mrežama – tu su, ističe Miroslav, pioniri među tvrtkama koje razvijaju slična rješenja

“Softverski dio ulazi u svoju 15. verziju i nipošto nismo gotovi”

Tijekom istraživanja najvažnije im je što prije isprobati vlastite i ideje iz znanstvenih časopisa u realnom okruženju i tako dobiti povratnu informaciju za iduću iteraciju (na kojima i dalje rade):

Hardver je od početka projektiranja doživio tri glavne (i više manjih) revizija, a softverski dio ulazi u svoju 15. verziju i nipošto nismo gotovi. Otkad su prvi prototipovi oživjeli u laboratorijima, brzo smo ih montirali na robote i počeli koristiti te smo povratne informacije našeg QA tima koristili kao glavnu vodilju što ugraditi u iduće verzije. Rješenje je tako raslo do sustava koji imamo sada, s fokusom na “feature” koji unaprjeđuju naš glavni proizvod – robote.

QA nekad znači testiranje koda, a nekad držanje kamere u hladnjaku!

Testiranje hardvera rijetko ide glatko, a ovdje je situaciju složenijom učinila činjenica što su se povećavali zahtjevi za sustav pa je svaka nova iteracija donosila nešto novo u vezi s mehanikom, resursima za obradu slike, samim algoritmom…

Neke komponente koje smo htjeli koristiti bile su toliko nove da smo imali po jedan prototipni komad dobiven kao proizvođački uzorak i s time smo se snalazili sve dok veće količine nisu postale dostupne. Rezultati rada stereoalgoritma u prvim iteracijama nisu bili prihvatljivi na specifičnim površinama te smo unaprijedili algoritam koristeći duboke neuronske mreže. No, da bi to zaživjelo u našem vision modulu, morali smo nadograditi računalo. 

Za razliku od softvera, hardver mora proći još jednu ruku testova koji često zahtijevaju posebnu opremu pa su se morali snalaziti:

Kad smo već mislili da imamo sve pokriveno, došao je korisnički zahtjev da robot mora raditi izvan zatvorenih prostora u različitim vremenskim uvjetima, što je tražilo potpun redizajn kućišta koje je sada certificirano da ne propušta vodu i prašinu.

Do samog postupka certifikacije trebali smo i osigurati da kamera radi u svim mogućim uvjetima, iako još nismo imali mogućnosti nabaviti profesionalnu opremu poput klima-komore. Tako da smo ju jedno vrijeme držali u frižideru uz ručak, ostavljali na vrelom suncu, zalijevali je šmrkom i potapali u sudoper, no izdržala je sve ove muke i nedaće.

Sve je to urodilo rješenjem koje ne samo da omogućava robotima da se suvereno kreću po skladištima, već i da obavljaju zadatke u potpuno nestrukturiranim okruženjima, koja generalno nisu pogodna za automatizaciju. Poučna je to priča kako je problem kroz nekoliko godina, mnogo ideja, truda i testiranja postao Gideonu postao glavna kompetitivna prednost.

Želite li saznati više o razvoju robota u Gideonu, svakako preporučamo i da pročitate intervju s Edinom Kočom, njihovim direktorom odjela za robotiku. A ako biste i vi željeli sudjelovati u razvoju revolucionarnih robota, provjerite Gideonove stranice karijera, jer svi njihovi timovi se šire.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Netokracija Podcast

Ovo je email strategija kojom je Burazin privukao investitore poput direktora Stack Overflowa

U novoj epizodi ulazimo u detalje o: (vjerojatno) najvećoj pre-seed rundi u hrvatski startup; tome kako SAD namjerava kontrolirati AI sustave koji bi mogli napraviti atomsku bombu te zašto osnivača Netokracije Ivana Brezaka Brkana izbacuju iz zagrebačkih kavana?

Analiza

Diskriminira li PlayStation Store Hrvate? Popusta nemamo, euro se tek uveo, a plaćali smo bonovima…

Domaće obožavatelje PlayStation konzole ova godina nije nimalo mazila. Štoviše cijelu godinu obilježio ih je osjećaj "zadnje rupe na svirali" jer sve do sredine studenog nisu mogli kupovati karticama. Zašto? PlayStation Store 11 mjeseci nije prešao na euro niti je dvojno iskazivao cijene...

Ekskluzivno

Daytona osigurala 2 milijuna dolara od investitora poput CEO-a Stack Overflowa i Damira Sabola

U najranijoj, pre-seed rundi financiranja, Daytona je osigurala investiciju od čak 2 milijuna dolara, primarno od poznatih američkih i hrvatskih (su)osnivača.

Što ste propustili

Analiza

Diskriminira li PlayStation Store Hrvate? Popusta nemamo, euro se tek uveo, a plaćali smo bonovima…

Domaće obožavatelje PlayStation konzole ova godina nije nimalo mazila. Štoviše cijelu godinu obilježio ih je osjećaj "zadnje rupe na svirali" jer sve do sredine studenog nisu mogli kupovati karticama. Zašto? PlayStation Store 11 mjeseci nije prešao na euro niti je dvojno iskazivao cijene...

Tvrtke i poslovanje

Volontiranje zaposlenika donosi dugoročne benefite i njima samima i poslodavcima i zajednici

Kada danas pričamo o volontiranju, unutar kompanije postoji sve više ljudi koji su upoznati s tim pojmom ili su se čak i sami okušali u volontiranju koje je bilo organizirano kroz tvrtku. To pokazuje da napredujemo, ali ima prostora za rast i uključivanje još većeg broja ljudi. 

Intervju

Poljski konzultant poručuje: Bez daljnjih odgoda, prilagodite propise i prakse gig ekonomiji

Radite kada želite, koliko želite, s kime želite. Ovo su pogodnosti rada na kojima se gig ekonomija proslavila, ali to ne znači da u praksi uvijek cvate cvijeće...

Istraživanje

50% hrvatskih kupaca primarno kupuje u hrvatskim online trgovinama

Hrvatski online kupci znatno više vjeruju domaćim web trgovinama te iskustvo kupnje na njima ocjenjuju pozitivnim. Među najbitnijim stavkama koje su im iznimno važne navode cijenu dostave, mogućnosti plaćanja, kvalitetne akcije, besplatan povrat - i recenzije!

Intervju

Infobip o privlačenju generacije Z: Ove godine gotovo 2000 prijava na program za mlade talente!

Infobip je već niz godina uključen u akademsku zajednicu, no posebno su uspješni u privlačenju mladih talenata na svoje programe pripravništva. Samo ove godine dobili su nešto manje od 2000 prijava, a otvara se i novi ciklus prijava!

Novost

Prvo europsko gimnastičko online natjecanje pratite putem hrvatske platforme, Elevien

Natjecanje "European Men’s Artistic Gymnastics Online Test Event!" sprema se ući u povijest kao prvo 100% live online gimnastičko natjecanje.