Gideon: Nisu mogli pronaći odgovarajuću kameru za svoje robote, pa su je sami razvili!

Gideon: Nisu mogli pronaći odgovarajuću kameru za svoje robote, pa su je sami razvili!

Rastuća potreba za radnom snagom aktualizira i pitanje automatizacije mnogih poslova, a time i upotrebu autonomnih robota koji ni u Hrvatskoj više nisu u sferi znanstvene fantastike ponajprije zahvaljujući tvrtki Gideon. Međutim, ta mlada industrijska grana s ogromnim potencijalom još se uvijek suočava s mnogim izazovima, a jedan od najvećih je razviti robota s percepcijom nalik ljudskoj. Odmah vam je jasno da ključnu ulogu u tom segmentu ima računalni vid, a time i odabir odgovarajuće kamere.

Miroslav Rožić, voditelj Gideonova tima za razvoj stereovizijske kamere, otkrio nam je zašto su i kako napravili vlastitu kameru. No prije toga dobro je razjasniti koje sve poslove u autonomnom robotu ona obavlja.

Bez kamere autonomni robot i nije osobito autonoman

Kamera je kod autonomnih robota zapravo esencijalan dio opreme koji omogućava da se robot može kretati u prostoru i obavljati svoj posao, objašnjava Miroslav:

Kod autonomnih mobilnih robota percepcija okoline važna je kako bi se robot mogao sigurno i efikasno kretati. Mnogi roboti se pritom oslanjaju samo na dvodimenzionalnu informaciju koja im omogućava rad u relativno jednostavnim i strukturiranim okruženjima. No za snalaženje u kompleksnim i nestrukturiranim okruženjima koja uključuju čovjeka i druge objekte u pokretu nužna je kvalitetna trodimenzionalna percepcija prostora.

Osim informacija o pozicijama i relativnim udaljenostima objekata oko robota računalni vid ima još jednu bitnu prednost:

Pruža i semantičku informaciju − omogućava nam da raspoznamo i kategoriziramo objekte oko robota (zid, pod, čovjek, paleta, prepreka, teret, regal, viličar itd.) i time omogućimo robotu da optimalno prilagodi ponašanje prema svojoj okolini

Petar K. Furjan

I ne, to nije sve. 3D vid se koristi i za navigaciju robota omogućavajući izbjegavanje statičkih i dinamičkih prepreka (poput ljudi), izgradnju karte prostora i lokalizaciju unutar nje praćenjem ključnih značajki pojedine scene, te manipuliranje objektima u prostoru. 

3D informacija pritom omogućuje da kvalitetno odredimo pozu objekta kojim želimo manipulirati, objašnjava Miroslav, i da ispravno navedemo robota da to odradi. Na primjer, da robot nađe točnu poziciju palete ostavljene na podu i pokupi je.

Malo svjetla i kaotična kretanja – kakva kamera se može snaći u takvom okruženju?

Njihovu potragu za kamerom odgovarajućih karakteristika i performansi diktirala su okruženja u kojima rade njihovi roboti, a to su industrijski pogoni i skladišta. Rad u takvim okolnostima je dinamičan, s naoko kaotičnim kretanjem ljudi i vozila poput viličara, što je zahtijevalo kameru koja je ultra širokokutna kako bi se potencijalne pokretne prepreke uočile na vrijeme da se izbjegne sudar. 

U prilagodbi tipičnim okruženjima najveći im je, pak, izazov bio standard osvjetljenja tih prostorija od oko 300 luksa, što odgovara razini svjetla koju na otvorenom imamo u ranu zoru ili sumrak.

Zato je bilo potrebno pronaći kameru s kombinacijom senzora i leće koja može dati kvalitetnu sliku u uvjetima niskog osvjetljenja. Ujedno je senzor trebao biti s tzv. globalnim zatvaračem (s obzirom na to da se robot kreće) kako bi se izbjegle distorzije koje se obično vide kad snimate mobitelom iz jurećeg auta ili u onim videima gdje ljudi snimaju žice gitare kako lelujaju (tzv. Rolling Shutter Effect). 

Kako roboti uglavnom rade u velikim prostorima, to je predstavljalo dodatni izazov, jer je potreban što veći razmak između dviju kamera stereopara (fotografske snimke istog objekta dobivene snimanjem s dviju pozicija). Kod stereokamera koje omogućavaju snimanje većih prostora, točnost i preciznost mjerenja dubine prostora na većim udaljenostima ponajviše ovise o tom parametru, a prostori u kojima djeluju Gideonovi roboti nerijetko su vrlo veliki, a ključne točke kojima se utvrđuje pozicija robota veoma udaljene od robota. 

Mnogo zahtjeva, a malo gotovih rješenja

Kada se sve te potrebe zbroji, popis zahtjeva je poprilično dugačak i naći pravo rješenje se pokazalo kao velik izazov:

Tražili smo pasivnu stereokameru jer smo ustanovili da rješenja koja koriste dodatne izvore svjetla (poput Time-of-flight 3D kamera i kamera koje koriste strukturirano svjetlo) imaju ograničenja pri korištenju na vozilu koje se kreće ili ne zadovoljavaju neki od ranije navedenih kriterija. Ujedno nam je bilo bitno da kamera daje sliku u boji koja je što više (u idealnom slučaju potpuno) poravnata s mapom mjerenih dubina u prostoru, što se najbolje postiže kod pasivnih stereovizijskih kamera.

Tražili smo robustan sustav koji bi se integrirao u vozilo koristeći industrijske standarde napajanja i povezivanja. I povrh svega, željeli smo kameru koja sama obrađuje sliku i ne stavlja dodatno opterećenje na ionako već dosta opterećeno glavno računalo robota.

Stereo Vision Team: dr.sc. Miroslav Rožić, dr.sc. Nikola Banić, Tome Radman, Matko Brnić, Marija Knežević Barić, Luka Karlić (odozgo prema dolje i s lijeva nadesno)

Ni gaming kamera nije zadovoljila uvjete

U Gideonu su isprobali niz postojećih rješenja prije nego su se odvažili na avanturu razvoja vlastite kamere, no svakoj je nešto nedostajalo. Zanimljiva je činjenica da je jedan od obećavajućih kandidata bila kamera kakvu ima popularna igraća konzola Xbox: 

U istraživačkim krugovima dugo je bila iznimno popularna Microsoftova kamera Kinect, čije su karakteristike mnogi hvalili te je ona bila među prvim kamerama koje su bile evaluirane. Nažalost, u industrijskoj inačici ta kamera nikada nije zaživjela jer je tvrtka koja je proizvodila tehnologiju za tu kameru akvizirana i tehnologija je povučena s tržišta.

Isprobana su druga često viđena rješenja na tržištu koja se mogu vidjeti u raznim robotima, poput kamere Intel RealSense i Stereolabs ZED-a. No niti jedna kamera nije adekvatno pokrivala sve kriterije koji bi omogućili rad u zahtjevnim okruženjima kao što su skladišta.

Iako ni jedna kamera nije zadovoljavala sve uvjete, neke od njih su dugo koristili, zaobilazeći njihova ograničenja kao što su premalen domet kamere, loša poravnatost slike i mape udaljenosti, ograničen kut gledanja i slično.

Tri godine za razvoj vlastitog modula

Nastavljajući s eksperimentima i razvojem algoritama, došli su do ideje o razvoju vlastitog rješenja. 

Tijekom razvoja raznih algoritama razumijevanja prostora u 3D-u eksperimentiralo se sa stereoparom sastavljenim od standardnih industrijskih kamera, što je polučilo obećavajuće rezultate. U tom trenu bila je riječ o algoritmima kao što su trodimenzionalna lokalizacija i gusto mapiranje prostora. Eksperimentiranje je pokazalo da integrirano rješenje koje uključuje dodatno računalo za obradu slike uz sam stereopar ima najviše potencijala za buduće aplikacije.

Tu se prvi put javlja ideja onoga što danas zovemo Vision Module − sustav neovisnih kamera i računala integriranih u sustav koji bi zadovoljio sve gore navedene karakteristike te omogućio dodatno rasterećenje glavnog računala tako da se vizualni algoritmi prebace na njega.

Razvoj kamere – točnije, modula – traje već tri godine, a Miroslav priznaje da vjerojatno nema dijela koji se nije pokazao izazovnim: 

S hardverskog aspekta glavni su izazovi bili pronaći i integrirati dovoljno kompaktno, a snažno računalo koje bi moglo obrađivati sliku s kamera adekvatnom brzinom, ali također i kamere željenih karakteristika pogodne za integraciju.

Iz perspektive softvera razvoj arhitekture cjevovoda za obradu slika te samog stereoalgoritma bio je konstantno hrvanje sa sindromom “not-invented-here” – trebalo je odlučiti što ćemo raditi sami od nule, a za što koristiti gotove, postojeće biblioteke uz ograničene resurse na raspolaganju.

Na kraju su uspjeli postići balans i inovirati tamo gdje je bitno koncentrirajući se na dodanu vrijednost i kvalitetu finalnog proizvoda, objašnjava Miroslav. Krajnje neizvjestan, a na kraju vrlo uspješan pothvat bio je razvoj i integracija hibridnog algoritma za estimaciju dubine prostora temeljenog na klasičnoj metodi u kombinaciji s dubokim neuronskim mrežama – tu su, ističe Miroslav, pioniri među tvrtkama koje razvijaju slična rješenja

“Softverski dio ulazi u svoju 15. verziju i nipošto nismo gotovi”

Tijekom istraživanja najvažnije im je što prije isprobati vlastite i ideje iz znanstvenih časopisa u realnom okruženju i tako dobiti povratnu informaciju za iduću iteraciju (na kojima i dalje rade):

Hardver je od početka projektiranja doživio tri glavne (i više manjih) revizija, a softverski dio ulazi u svoju 15. verziju i nipošto nismo gotovi. Otkad su prvi prototipovi oživjeli u laboratorijima, brzo smo ih montirali na robote i počeli koristiti te smo povratne informacije našeg QA tima koristili kao glavnu vodilju što ugraditi u iduće verzije. Rješenje je tako raslo do sustava koji imamo sada, s fokusom na “feature” koji unaprjeđuju naš glavni proizvod – robote.

QA nekad znači testiranje koda, a nekad držanje kamere u hladnjaku!

Testiranje hardvera rijetko ide glatko, a ovdje je situaciju složenijom učinila činjenica što su se povećavali zahtjevi za sustav pa je svaka nova iteracija donosila nešto novo u vezi s mehanikom, resursima za obradu slike, samim algoritmom…

Neke komponente koje smo htjeli koristiti bile su toliko nove da smo imali po jedan prototipni komad dobiven kao proizvođački uzorak i s time smo se snalazili sve dok veće količine nisu postale dostupne. Rezultati rada stereoalgoritma u prvim iteracijama nisu bili prihvatljivi na specifičnim površinama te smo unaprijedili algoritam koristeći duboke neuronske mreže. No, da bi to zaživjelo u našem vision modulu, morali smo nadograditi računalo. 

Za razliku od softvera, hardver mora proći još jednu ruku testova koji često zahtijevaju posebnu opremu pa su se morali snalaziti:

Kad smo već mislili da imamo sve pokriveno, došao je korisnički zahtjev da robot mora raditi izvan zatvorenih prostora u različitim vremenskim uvjetima, što je tražilo potpun redizajn kućišta koje je sada certificirano da ne propušta vodu i prašinu.

Do samog postupka certifikacije trebali smo i osigurati da kamera radi u svim mogućim uvjetima, iako još nismo imali mogućnosti nabaviti profesionalnu opremu poput klima-komore. Tako da smo ju jedno vrijeme držali u frižideru uz ručak, ostavljali na vrelom suncu, zalijevali je šmrkom i potapali u sudoper, no izdržala je sve ove muke i nedaće.

Sve je to urodilo rješenjem koje ne samo da omogućava robotima da se suvereno kreću po skladištima, već i da obavljaju zadatke u potpuno nestrukturiranim okruženjima, koja generalno nisu pogodna za automatizaciju. Poučna je to priča kako je problem kroz nekoliko godina, mnogo ideja, truda i testiranja postao Gideonu postao glavna kompetitivna prednost.

Želite li saznati više o razvoju robota u Gideonu, svakako preporučamo i da pročitate intervju s Edinom Kočom, njihovim direktorom odjela za robotiku. A ako biste i vi željeli sudjelovati u razvoju revolucionarnih robota, provjerite Gideonove stranice karijera, jer svi njihovi timovi se šire.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Analiza

Kad im USB-om procure podaci milijun građana – javne institucije mogu proći bez sankcija?!

Sa stručnjacima raspravljamo o nedavnom curenju podataka vlasnika svih registriranih vozila u Hrvatskoj i zašto je ono problematično na više razina. Može li ovaj slučaj biti poruka javnim institucijama za ubuduće?

Obrazovanje

Maturanti, pazite koje AI alate koristite za pripremu mature, nisu svi pouzdani…

Jeste primijetili kako je sve više raznih AI alata koji obećavaju uspjeh u školi i pomoć na maturi? Iako imamo pozitivne primjere, nisu svi od povjerenja.

Startupi

Što smo dosad saznali o hrvatskim SaaS tvrtkama? 60% ispitanika navodi da su profitabilni!

Polovica hrvatskih SaaS tvrtki iz istraživanja postoji manje od 5 godina, otprilike jednako toliko ih ima manje od 1 milijun eura ponavljajućeg godišnjeg prihoda (ARR), a 80 % njih ima manje od 50 zaposlenih.

Što ste propustili

Veliki intervjui

Kreće Priša! Tjedni izazov za djecu i mlade koji stvara pozitivne navike

Priša je prilika za djecu i mlade da prije početka ljetne zabave i zaslužene lijenosti, naprave nešto pozitivno za svoje navike!

Veliki intervjui

Kad će zaživjeti “hrvatski gaming san”? Ovo su faze 60 milijuna vrijednog projekta u Novskoj

Fakultet, studentski dom, fotonaponska elektrana i sva potrebna infrastruktura uskoro dolaze u Novsku - Centar za gaming industriju bit će prvi takvog tipa u Europi.

Veliki intervjui

“Kao Engineering Manager nisam izgubio dodir s inženjerstvom, naprotiv – naučio sam još više”

Kako izgleda posao Engineering Managera kad radiš za tvrtku koja nezaustavljivo raste saznali smo od Antonia Krističevića. Prošle je godine postao EM u Fonoi, tvrtki koja je prva na svijetu razvila cloud platformu za automatizaciju obračuna poreza na globalnoj razini.

Digitalni mediji

Uloženo je 280 milijuna eura u digitalno oglašavanje u Hrvatskoj u 2023. godini

Hrvatska udruga digitalnih izdavača (HUDI) objavila je rezultate najnovijeg istraživanja HUDI Digitalni AdEx za 2023. godinu.

Startupi

Kako vam HR i financije olakšavaju rast, otkriva Infobipov CBO

Infobipov Chief Business Officer Ivan Ostojić podijelio je iskustva iz procesa skaliranja hrvatskog jednoroga te što im je pomoglo da rast učine održivim.

Startupi

Stižu bolja vremena za SaaSove! Paddleov CMO savjetuje kako ih iskoristiti

Od Paddleovog Chief Marketing Officera na konferenciji SaaStanak 2024 saznali smo kako prebroditi ova neizvjesna vremena na tržištu.