World modeli: Kakve veze imaju hobiti i roboti, i zašto privlače milijune dolara?

U jednoj rupi u zemlji živio je Hobit. Tvrtka koja je rekreirala jednu takvu hobitsku rupu, kojom se možete prošetati u svom internetskom pregledniku, dobila je 230 milijuna eura investicije prije no što je uopće lansirala alat kojim je to postigla.

World Labs je najveća, ali nikako i jedina među tvrtkama koje, pogonjene vrhunskim kadrom u AI-ju, prostornom računarstvu, XR-u i robotici, izazivaju zazubice investitorima.

World Labsova suosnivačica Fei-Fei Li nosi nadimak “kume” umjetne inteligencije, a nerijetko se postavlja pitanje, zašto se pionirka umjetne inteligencije bavi kreiranjem bajkovitih 3D svjetova i zašto joj za to trebaju stotine milijuna dolara?

Zagrebački Holonet zatvorio angel rundu od 220.000€, među investitorima i Damir Sabol

Ljudima intuitivno, strojevima nezamislivo

Iako Marble World Labsa i slični alati izgledaju kao ChatGPT ili Midjourney za 3D prostore ili elemente, ispod haube se krije prava razlika. World modeli pokušavaju pomoću umjetne inteligencije rekreirati nešto što je ljudima inherentno: sposobnost razumijevanja kako se svijet ponaša kroz prostor i vrijeme.

Ljudi ne reagiraju isključivo po modelu input-output, već stalno u glavi simuliramo stvarnost, predviđamo posljedice svojih postupaka i donosimo (bolje ili lošije) odluke na temelju tih mentalnih projekcija.

Više tehničkim rječnikom, world modeli su neuronske mreže koje uče dinamiku okoline kako bi mogli izgraditi općenitu, ali fleksibilnu rekreaciju svijeta. Kada se ti modeli dodatno skaliraju, dobivamo World Foundation Modele, koji su trenirani na golemim i raznolikim skupovima podataka, uključujući tekst, video i 3D. Osim kreiranja 3D prostora, njihov je zadatak razumjeti i generalizirati fiziku i semantiku. 

Objasnimo to kroz ponešto simplificirani primjer hobitske rupe s početka priče. Ako želim kreirati hobitsku spavaonicu i ubacim sliku kreveta i tekstualni prompt, model mora stvoriti ostatak sobe koji se na slici ne vidi, “znati” da je nasuprot krevetu vjerojatno ormar, a ne frižider ili kada, a u bliskoj budućnosti trebao bi znati i da će, ako bacim loptu u prostoru, lopta odskočiti od zida, ali razbiti lampu na noćnom ormariću.

Roboti i automobili kao mala djeca

Kada je moja kći bila nešto mlađa, odveli smo je u lunapark gdje se htjela voziti u električnim autićima. Objasnili smo joj kako stisnuti gas, kako kočiti, i kako upravljati volanom. Nakon našeg detaljnog prompta, u prve tri sekunde se pod punim se gasom zabila direktno u barijeru. To je prošlo bez posljedica i za nju, i barijeru i autić, ali jednako optimističan scenarij ne možemo očekivati ako se robot zabije negdje u punom skladištu ili autonomno vozilo pokosi rampu. 

Iako bismo jednog robota bez problema mogli isprogramirati da vozi u krug, u općoj namjeni bi čak i toddler nesposoban shvatiti jednostavan koncept skretanja nadmašio robota. Svijet u kojem se djeca (i ljudi generalno) kreću nudi beskonačno mnogo mogućih scenarija i podražaja iz kojih uče.

To je više podataka no što bismo ikad mogli prikupiti za treniranje robota. Usporedbe radi, kad bi dijete učilo jezik brzinom kojoj to radi ChatGPT, trebalo bi mu 92.000 godina da tečno progovori.

To znači da nam za treniranje robota opće namjene trebaju sintetički podaci, a tu dolazimo do prvog ograničenja LLM-ova: Dok su apsolutno sjajni u objašnjavanju apstraktnih pojmova i začas će vam objasniti demokraciju, puno su lošiji s pojmovima temeljenim na osjetilima – bojama, teksturama, zvukovima, a posebice su loši kada je riječ o motoričkim konceptima. 

Stvari postaju još kompleksnije kad svemu dodamo i shvaćanje posljedica, kao na primjer da autonomna vozila znaju kako zeleno svjetlo znači “vozi”… ali ne i kad je policijska akcija u tijeku.

Google, Nvidia, Meta se klade na world modele

Upravo se zato toliko (nade i kapitala) sada ulaže u world modele. Digitalni blizanci stvarnog svijeta trebali bi omogućiti brzo treniranje u simuliranim okruženjima, smanjujući potrebu za ispitivanjima u stvarnom svijetu. 

Umjetna inteligencija i razne imerzivne tehnologije su u tome našle prirodnu simbiozu. Volvo je, primjerice, za treniranje svojih autonomnih sustava iskoristio rendering tehniku Gaussian Splatting, koja se sve više koristi u generiranju virtualnih svjetova, u kombinaciji s umjetnom inteligencijom, kako bi kreirao što više prometnih scenarija za svoja vozila.

Ovaj eksperiment s Volvom samo jedan od projekata u Nvidijinom portfelju, koja world modele vidi kao ključnu infrastrukturu za tzv. physical AI (u ovoj točki teksta već odustajem od izmišljanja hrvatskih prijevoda, neka se time bavi Struna). 

I Deepmind istražuje mogućnosti i granice world modela, a Google i deklarativno tvrdi kako je upravo ova tehnologija ključan korak prema postizanju AGI-ja (Artificial general intelligence), a i Meta se pohvalila svojim konjem za trku.

Današnji “AI” razumije tekst, Matko u Google DeepMindu radi na modelima koji će razumjeti stvarni svijet

Daleko od AGI-ja, ali blizu iskoristivih virtualnih svjetova

Prije nego se svi poveselimo da smo na korak do robotskih domaćica i prestravimo jer smo dva koraka od Blade Runnera, stanimo malo na loptu. 

Iako world modeli imaju uistinu velik potencijal, i velike se nade polažu u njih, zatečeno stanje je još uvijek tek veliki tech demo. I sam je Marble, alat World Labsa kojim je stvorena hobitska rupa s početka priče, vrlo napredan primjer generative inteligencije, ali ne i primjer world modela. 

Dobra vijest je da dok Google, Meta, i Reality Labs ulažu milijune da prvi dosegnu sveti gral AGI-ja, istraživačkoj i startup zajednici se otvaraju tisuće prilika da isprobaju i iskoriste različite use caseove ovih tehnologija u stvarnom životu i na stvarnom tržištu, koje leže između sadašnjih tech dema i općenite umjetne inteligencije koja će zavladati svijetom.