Tejas Kumar na Infobip Shiftu: Budućnost AI-ja nisu veliki, nego štedljivi mali jezični modeli

Tejas Kumar, AI DevRel Engineer u DataStaxu, najavio je uravnoteženo predavanje o AI-ju na konferenciji Infobip Shift, koja je danas počela u Zadru, bez nepotrebnog hypea koji neprestano prati ovu tehnologiju. Ako tražite prizemljen govor o trenutnim mogućnostima AI-ja s praktičnim primjerima i što nas čega budućnosti, došli ste na pravo mjesto.

Tejas predstavlja kako danas izgleda AI inženjerstvo, koje su to popularne tehnike za smanjenje troškova i uklanjanje halucinacija te što će biti najvažnije u stvaranju budućih AI sustava.

Postoji rješenje za tri glavna AI ograničenja

Glavna ograničenja s kojima se developeru danas susreću kada rade s AI-jem su: halucinacije, ograničeno znanje i ograničeni kontekst. Tejas smatra kako je ove tri “muhe” moguće riješiti jednim udarcem zvanim Retrieval-Augmented Generation (RAG), tehnikom koja kombinira unaprijed uvježbane jezične modele sa sustavom za dohvaćanje podataka u stvarnom vremenu:

Uz pomoć RAG-a dohvaćate podatke iz nekog autoritativnog izvora i koristite ih za poboljšanje ili promjenu generiranog teksta kojeg je stvorio LLM-a. Ti podaci dolaze do LLM-a uz pomoć prompt inženjerstva.

Tejas je prokazao kako RAG funkcionira na jednostavnom primjeru. Kumar je ilustrirao RAG kroz samo nekoliko klikova: unio je web stranicu u embedding model koji zatim numerički kodira podatke.

Ovaj model zatim provodi pretragu na bazi sličnosti, tako što izvlači relevantne informacije iz baze podataka kako bi odgovorio na pitanje korisnika. Ovaj proces osigurava da se odgovori temelje na najnovijim podacima i tako se učinkovita eliminiraju halucinacije koje su uobičajene u LLM-ovima kao što je GPT.

Chatbotovi su dosadni, AI mora davati osjećaj stvarne interakcije

AI chatbotovi posvuda su danas, a Tejas smatra kako su oni upravo jako – dosadni. Oni imaju svoju svrhu, ali ta svrha nalazi se u vrlo uskoj primjerni. Zato Tejas nudi primjer kako chatbot može imati puno širu primjenu – kao u pretraživanju Netflixa.

U Netflixovu tražilicu Tejas je upisao movies with a strong female lead, a tradicionalan sustav pretraživanja često će ponuditi krive rezultate ili neće ponuditi rezultate uopće. S druge strane, ako sustav pretraživanja u pozadini koristi semantički AI – koji razumije značenje korisničkog upita i ne vidi samo ključne riječi – korisničko iskustvo može se značajno unaprijediti:

Sa semantičkim pretraživanjem ne samo da poboljšavamo rezultate pretraživanja – generiramo interaktivna korisnička sučelja na zahtjev koja razumiju namjere korisnika

Tejas je ilustrirao kako su u DataStaxu razvili alat za semantičko pretraživanje koji ne samo da daje točne rezultate za takve upite, već može generirati interaktivno korisničko sučelje (UI) na zahtjev. To znači da upisivanjem movies with a strong female lead, Netflix može ponuditi relevantne postere filmova i najave.

Ovakva vrsta interaktivnog korisničkog sučelja predstavlja budućnost umjetne inteligencije, gdje developeri mogu koristiti modele poput Langflowa za integraciju AI-ja u aplikacije bez narušavanja korisničkog iskustva, ističe Tejas:

Kao Developeri, imamo odgovornost prema našim korisnicima. Moramo graditi AI iskustva koja su više od pukih chatbota i isporučiti stvarne, svrhovite interakcije.

Umjesto LLM-ova – SSM-ovi?

Ono što nas još čeka u budućnosti je prelazak s LLM-ova generalne primjene na male specijalizirane modele (SSM) što je Tejasov (neslužben) pojam za AI sustave prilagođene određenim zadacima:

Što kada bismo umjesto modela, kao što je GP4 sa 600 milijardi parametara, imali manji model sa 7 milijardi parametara, ali da su svi parametri specijalizirani. To je budućnost i tu treba investirati.

Tejas smatra kako će se tvrtke okretati manjim modelima koji će biti usredotočene na individualne potrebe. Developeri će drastično smanjiti troškove, ali zadržati dobre performanse svojih proizvoda.

Razvijanje odgovornog AI-ja treba biti na prvom mjestu

AI se mora stvarati etički odgovorno, a jedna od ključnih stvari na koje je potrebno paziti je ono što naziva pristranost autoriteta – prema kojem korisnici pretpostavljaju da su rezultati generirani umjetnom inteligencijom uvijek točni jednostavno zato što dolaze iz izvora koji zvuči autoritativno, ističe Tejas:

Moramo biti transparentni s podacima koji se koriste za treniranje LLM-ova. AI mora moći reći “hej, ovi su podaci vjerojatno pogrešni”.

Budućnost umjetne inteligencije je u stvaranju alata koji omogućuju modelima da prepoznaju granice vlastitih mogućnosti. Kada umjetna inteligencija ne može dati odgovor, trebala bi moći koristiti vanjske alate ili API-je za dohvaćanje potrebnih informacija kako bi osigurala točnost.

Za kraj, Tejas želi potaknuti developere da razmišljaju dalje od jednostavnih chatbota i jednostavnih jer smatra kako je budućnost AI-ja vezana uz kombiniranje snage LLM-a sa specijaliziranim modelima i dinamičnim sučeljima koja poboljšavaju korisnička iskustva.

Tejasa smo dalje mogli slušati na panelu AI-Powered Development Tools: Enhancing or Replacing Human Developers? gdje mu se pridružila i Simi Olabisi, AI stručnjakinja iz Microsofta, a razgovor je moderirala naša Antonija Bilić Arar.

AI neće zamijeniti developere, ali neka znanja više neće trebati savladavati

AI će napraviti upravo suprotno od očekivanog. On neće zamijeniti developere, već će ih učiniti boljima u poslu, ističe Simi:

Alati koje gradimo u Microsoftu osmišljeni su za obradu zadataka koji se ponavljaju, omogućujući programerima da se usredotoče na složenije i kreativnije aktivnosti.

Onda dolazimo do pitanja juniora i kako će oni učiti. Simi smatra kako više neće morati trošiti vrijeme na savladavanje osnovnih zadataka:

Baš kao što su diskete postale zastarjele, neka temeljna znanja mogu postati manje važna za savladavanje, ali to ne znači kako će preskočiti važne lekcije. Dalje će se suočavati s teškim zadacima rano u svojoj karijeri.

O ovome bismo trebali razmišljati kao evoluciji od slikarskog kista do kamere. Osnovni alati ljudske kreativnosti dalje su neophodni za rješavanje 70 do 80% zadataka kodiranja, ali ljudski nadzor i kreativnost i dalje su bitni, ističe Tejas.

Ne dolazi nam neka dramatična promjena unutar pet godina. Alati će napredovati i AI će dalje unaprjeđivati naše sposobnosti, ali developeri ostaju ključni dio cijelog procesa, zaključuje Simi.