Gideon: Nisu mogli pronaći odgovarajuću kameru za svoje robote, pa su je sami razvili!

Miroslav Rožić, voditelj Gideonova tima za razvoj stereovizijske kamere, otkrio nam je zašto su i kako napravili vlastitu kameru. No prije toga dobro je razjasniti koje sve poslove u autonomnom robotu ona obavlja.

Bez kamere autonomni robot i nije osobito autonoman

Kamera je kod autonomnih robota zapravo esencijalan dio opreme koji omogućava da se robot može kretati u prostoru i obavljati svoj posao, objašnjava Miroslav:

Kod autonomnih mobilnih robota percepcija okoline važna je kako bi se robot mogao sigurno i efikasno kretati. Mnogi roboti se pritom oslanjaju samo na dvodimenzionalnu informaciju koja im omogućava rad u relativno jednostavnim i strukturiranim okruženjima. No za snalaženje u kompleksnim i nestrukturiranim okruženjima koja uključuju čovjeka i druge objekte u pokretu nužna je kvalitetna trodimenzionalna percepcija prostora.

Osim informacija o pozicijama i relativnim udaljenostima objekata oko robota računalni vid ima još jednu bitnu prednost:

Pruža i semantičku informaciju − omogućava nam da raspoznamo i kategoriziramo objekte oko robota (zid, pod, čovjek, paleta, prepreka, teret, regal, viličar itd.) i time omogućimo robotu da optimalno prilagodi ponašanje prema svojoj okolini. 

I ne, to nije sve. 3D vid se koristi i za navigaciju robota omogućavajući izbjegavanje statičkih i dinamičkih prepreka (poput ljudi), izgradnju karte prostora i lokalizaciju unutar nje praćenjem ključnih značajki pojedine scene, te manipuliranje objektima u prostoru. 

3D informacija pritom omogućuje da kvalitetno odredimo pozu objekta kojim želimo manipulirati, objašnjava Miroslav, i da ispravno navedemo robota da to odradi. Na primjer, da robot nađe točnu poziciju palete ostavljene na podu i pokupi je.

Malo svjetla i kaotična kretanja – kakva kamera se može snaći u takvom okruženju?

Njihovu potragu za kamerom odgovarajućih karakteristika i performansi diktirala su okruženja u kojima rade njihovi roboti, a to su industrijski pogoni i skladišta. Rad u takvim okolnostima je dinamičan, s naoko kaotičnim kretanjem ljudi i vozila poput viličara, što je zahtijevalo kameru koja je ultra širokokutna kako bi se potencijalne pokretne prepreke uočile na vrijeme da se izbjegne sudar. 

U prilagodbi tipičnim okruženjima najveći im je, pak, izazov bio standard osvjetljenja tih prostorija od oko 300 luksa, što odgovara razini svjetla koju na otvorenom imamo u ranu zoru ili sumrak.

Zato je bilo potrebno pronaći kameru s kombinacijom senzora i leće koja može dati kvalitetnu sliku u uvjetima niskog osvjetljenja. Ujedno je senzor trebao biti s tzv. globalnim zatvaračem (s obzirom na to da se robot kreće) kako bi se izbjegle distorzije koje se obično vide kad snimate mobitelom iz jurećeg auta ili u onim videima gdje ljudi snimaju žice gitare kako lelujaju (tzv. Rolling Shutter Effect). 

Kako roboti uglavnom rade u velikim prostorima, to je predstavljalo dodatni izazov, jer je potreban što veći razmak između dviju kamera stereopara (fotografske snimke istog objekta dobivene snimanjem s dviju pozicija). Kod stereokamera koje omogućavaju snimanje većih prostora, točnost i preciznost mjerenja dubine prostora na većim udaljenostima ponajviše ovise o tom parametru, a prostori u kojima djeluju Gideonovi roboti nerijetko su vrlo veliki, a ključne točke kojima se utvrđuje pozicija robota veoma udaljene od robota. 

Mnogo zahtjeva, a malo gotovih rješenja

Kada se sve te potrebe zbroji, popis zahtjeva je poprilično dugačak i naći pravo rješenje se pokazalo kao velik izazov:

Tražili smo pasivnu stereokameru jer smo ustanovili da rješenja koja koriste dodatne izvore svjetla (poput Time-of-flight 3D kamera i kamera koje koriste strukturirano svjetlo) imaju ograničenja pri korištenju na vozilu koje se kreće ili ne zadovoljavaju neki od ranije navedenih kriterija. Ujedno nam je bilo bitno da kamera daje sliku u boji koja je što više (u idealnom slučaju potpuno) poravnata s mapom mjerenih dubina u prostoru, što se najbolje postiže kod pasivnih stereovizijskih kamera.

Tražili smo robustan sustav koji bi se integrirao u vozilo koristeći industrijske standarde napajanja i povezivanja. I povrh svega, željeli smo kameru koja sama obrađuje sliku i ne stavlja dodatno opterećenje na ionako već dosta opterećeno glavno računalo robota.

Ni gaming kamera nije zadovoljila uvjete

U Gideonu su isprobali niz postojećih rješenja prije nego su se odvažili na avanturu razvoja vlastite kamere, no svakoj je nešto nedostajalo. Zanimljiva je činjenica da je jedan od obećavajućih kandidata bila kamera kakvu ima popularna igraća konzola Xbox: 

U istraživačkim krugovima dugo je bila iznimno popularna Microsoftova kamera Kinect, čije su karakteristike mnogi hvalili te je ona bila među prvim kamerama koje su bile evaluirane. Nažalost, u industrijskoj inačici ta kamera nikada nije zaživjela jer je tvrtka koja je proizvodila tehnologiju za tu kameru akvizirana i tehnologija je povučena s tržišta.

Isprobana su druga često viđena rješenja na tržištu koja se mogu vidjeti u raznim robotima, poput kamere Intel RealSense i Stereolabs ZED-a. No niti jedna kamera nije adekvatno pokrivala sve kriterije koji bi omogućili rad u zahtjevnim okruženjima kao što su skladišta.

Iako ni jedna kamera nije zadovoljavala sve uvjete, neke od njih su dugo koristili, zaobilazeći njihova ograničenja kao što su premalen domet kamere, loša poravnatost slike i mape udaljenosti, ograničen kut gledanja i slično.

Tri godine za razvoj vlastitog modula

Nastavljajući s eksperimentima i razvojem algoritama, došli su do ideje o razvoju vlastitog rješenja. 

Tijekom razvoja raznih algoritama razumijevanja prostora u 3D-u eksperimentiralo se sa stereoparom sastavljenim od standardnih industrijskih kamera, što je polučilo obećavajuće rezultate. U tom trenu bila je riječ o algoritmima kao što su trodimenzionalna lokalizacija i gusto mapiranje prostora. Eksperimentiranje je pokazalo da integrirano rješenje koje uključuje dodatno računalo za obradu slike uz sam stereopar ima najviše potencijala za buduće aplikacije.

Tu se prvi put javlja ideja onoga što danas zovemo Vision Module − sustav neovisnih kamera i računala integriranih u sustav koji bi zadovoljio sve gore navedene karakteristike te omogućio dodatno rasterećenje glavnog računala tako da se vizualni algoritmi prebace na njega.

Razvoj kamere – točnije, modula – traje već tri godine, a Miroslav priznaje da vjerojatno nema dijela koji se nije pokazao izazovnim: 

S hardverskog aspekta glavni su izazovi bili pronaći i integrirati dovoljno kompaktno, a snažno računalo koje bi moglo obrađivati sliku s kamera adekvatnom brzinom, ali također i kamere željenih karakteristika pogodne za integraciju.

Iz perspektive softvera razvoj arhitekture cjevovoda za obradu slika te samog stereoalgoritma bio je konstantno hrvanje sa sindromom “not-invented-here” – trebalo je odlučiti što ćemo raditi sami od nule, a za što koristiti gotove, postojeće biblioteke uz ograničene resurse na raspolaganju.

Na kraju su uspjeli postići balans i inovirati tamo gdje je bitno koncentrirajući se na dodanu vrijednost i kvalitetu finalnog proizvoda, objašnjava Miroslav. Krajnje neizvjestan, a na kraju vrlo uspješan pothvat bio je razvoj i integracija hibridnog algoritma za estimaciju dubine prostora temeljenog na klasičnoj metodi u kombinaciji s dubokim neuronskim mrežama – tu su, ističe Miroslav, pioniri među tvrtkama koje razvijaju slična rješenja. 

“Softverski dio ulazi u svoju 15. verziju i nipošto nismo gotovi”

Tijekom istraživanja najvažnije im je što prije isprobati vlastite i ideje iz znanstvenih časopisa u realnom okruženju i tako dobiti povratnu informaciju za iduću iteraciju (na kojima i dalje rade):

Hardver je od početka projektiranja doživio tri glavne (i više manjih) revizija, a softverski dio ulazi u svoju 15. verziju i nipošto nismo gotovi. Otkad su prvi prototipovi oživjeli u laboratorijima, brzo smo ih montirali na robote i počeli koristiti te smo povratne informacije našeg QA tima koristili kao glavnu vodilju što ugraditi u iduće verzije. Rješenje je tako raslo do sustava koji imamo sada, s fokusom na “feature” koji unaprjeđuju naš glavni proizvod – robote.

QA nekad znači testiranje koda, a nekad držanje kamere u hladnjaku!

Testiranje hardvera rijetko ide glatko, a ovdje je situaciju složenijom učinila činjenica što su se povećavali zahtjevi za sustav pa je svaka nova iteracija donosila nešto novo u vezi s mehanikom, resursima za obradu slike, samim algoritmom…

Neke komponente koje smo htjeli koristiti bile su toliko nove da smo imali po jedan prototipni komad dobiven kao proizvođački uzorak i s time smo se snalazili sve dok veće količine nisu postale dostupne. Rezultati rada stereoalgoritma u prvim iteracijama nisu bili prihvatljivi na specifičnim površinama te smo unaprijedili algoritam koristeći duboke neuronske mreže. No, da bi to zaživjelo u našem vision modulu, morali smo nadograditi računalo. 

Za razliku od softvera, hardver mora proći još jednu ruku testova koji često zahtijevaju posebnu opremu pa su se morali snalaziti:

Kad smo već mislili da imamo sve pokriveno, došao je korisnički zahtjev da robot mora raditi izvan zatvorenih prostora u različitim vremenskim uvjetima, što je tražilo potpun redizajn kućišta koje je sada certificirano da ne propušta vodu i prašinu.

Do samog postupka certifikacije trebali smo i osigurati da kamera radi u svim mogućim uvjetima, iako još nismo imali mogućnosti nabaviti profesionalnu opremu poput klima-komore. Tako da smo ju jedno vrijeme držali u frižideru uz ručak, ostavljali na vrelom suncu, zalijevali je šmrkom i potapali u sudoper, no izdržala je sve ove muke i nedaće.

Sve je to urodilo rješenjem koje ne samo da omogućava robotima da se suvereno kreću po skladištima, već i da obavljaju zadatke u potpuno nestrukturiranim okruženjima, koja generalno nisu pogodna za automatizaciju. Poučna je to priča kako je problem kroz nekoliko godina, mnogo ideja, truda i testiranja postao Gideonu postao glavna kompetitivna prednost.

Želite li saznati više o razvoju robota u Gideonu, svakako preporučamo i da pročitate intervju s Edinom Kočom, njihovim direktorom odjela za robotiku. A ako biste i vi željeli sudjelovati u razvoju revolucionarnih robota, provjerite Gideonove stranice karijera, jer svi njihovi timovi se šire.