Tech lead iz Factoryja objašnjava što će vam taj (v)RAG?

Poslovanje s umjetnom inteligencijom oslanjanje je na genijalnog, ali ne sasvim pouzdanog partnera. Kako bi se taj njegov nezgodan moment da povremeno izmisli nešto ispravio, sve se više koristi proces optimizacije Retrieval-Augmented Generation (RAG).

To je pristup u kojem se generativni AI povezuje s konkretnim, pouzdanim izvorima podataka. Tvrtke tako omoguće jezičnim modelima (LLM) da odgovaraju na upite temeljem iscrpne baze podataka, dokumenata, API-ja koje crpe iz internih sustava tvrtke. Cilj toga pristupa nije samo spriječiti halucinacije, već pomoći zaposlenicima i klijentima doći do informacija, osobito u sustavima koji obiluju podacima i nije se lako kroz njih probiti.

Kako to izgleda u praksi dočarava nam Marko Čučković, tech lead u Factoryju, koji je među prvima u regiji počeo razvijati rješenja temeljena na RAG-u, u kombinaciji s platformom Pimcore. Budući da u svom radu povezuje programere, klijente i tehnologiju, često objašnjava kako optimalno proći kroz taj proces:

Važno je da tim ima jasne ciljeve i da rješenja koja gradimo budu i tehnički dobra i poslovno korisna. Puno vremena odlazi na arhitekturu sustava, na rješavanje problema s podacima i na komunikaciju s klijentima.

Rizici netočnih informacija u poslovanju

Većina ljudi doživi wow efekt kad ChatGPT ili neki drugi alat generira tekst ili računalni kod. Pomisle kako je to to i kako im model nudi rješenje za sve, no ne znaju kako iza kulisa modeli zapravo funkcioniraju na vjerojatnostima i statistici, a ne na “znanju” kakvo zamišljaju. Stoga se i razočaraju kad dođu do kompleksnijih poslovnih slučajeva, kad od umjetne inteligencije trebaju precizne i dosljedne informacije.

Razočaranje je osobito veliko kada modeli u poslovnom okruženju haluciniraju, kaže Marko:

Zamislite farmaceutsku kompaniju koja pita AI “koja su pravila za određeni lijek” i dobije polutočne informacije ili webshop s desecima tisuća artikala. Ako AI počne izmišljati specifikacije proizvoda, korisnik gubi povjerenje. Ako se oslonite na netočan podatak kod, recimo, kreiranja izvještaja ili poslovnih odluka, posljedice mogu biti ozbiljne.

Kako RAG neutralizira rizik?

Nedostatna pouzdanost je veliki problem modela umjetne inteligencije. Dobra vijest je to što noviji modeli haluciniraju puno manje jer su bolje istrenirani i imaju veći kapacitet razumijevanja. Ipak, rizik je i dalje prisutan.

Marko pojašnjava kako ga on i njegovi kolege neutraliziraju:

Uz RAG, umjetna inteligencija se povezuje s bazama podataka, dokumentima ili API-jevima u trenutku postavljanja upita. Dohvaća najnovije i provjerene informacije te ih kombinira sa svojim jezičnim sposobnostima za jasan i razumljiv odgovor.

Recimo, ako pitaš “Koja je cijena artikla XY?”, AI bez RAG-a može nagađati na temelju svog treninga. S RAG-om će moći putem dodanih izvora doći do informacije o proizvodu, pronaći aktualnu cijenu i vratiti točan odgovor.

U tom procesu nema mjesta za nastanak halucinacija jer se model oslanja na provjerenu i ažuriranu bazu podataka. To posebno dolazi do izražaja u situacijama kad su podaci izrazito dinamični, na primjer u trgovinama s velikim brojem proizvoda – ima li ih na skladištu ili nema, imaju li novu cijenu…

Kombinacija RAG-a i vektorskih baza podataka

Posebno su zanimljive kombinacije RAG-a i vektorskih baza podataka u kojima se radi filtriranje podataka na temelju upita korisnika prije nego što se modelu doda kontekst.

Klasična pretraga traži podudaranje riječi. Vektorska pretraga ide korak dalje jer gleda kontekst i zna da su, primjerice, “mobitel” i “smartphone” ista stvar, ili da “lijek protiv bolova” može značiti “ibuprofen”. 

Kad takav rezultat proslijediš RAG-u, dobiješ AI odgovor koji nije samo brz, nego i kontekstualno točan i puno bliži onome što korisnik zapravo traži.

U praksi to znači kako korisnici tehnologije ne moraju znati točnu ključnu riječ, već može postaviti pitanje prirodnim jezikom i svejedno dobiti pravi odgovor. To je trenutak kad AI postaje stvarni alat koji štedi vrijeme i povećava preciznost, umjesto da bude samo “pametan chatbot”. 

Kad osim podataka o samom proizvodu dobije dodatni kontekst, recimo, preference kupca ili njegovu segmentaciju, AI može filtrirati podatke i predložiti nešto što je najbliže stvarnim potrebama tog kupca.

Naravno, to ima i svoja ograničenja. Ako model nema dovoljno konteksta ili ako podaci o preferencijama nisu ažurni, rezultat može biti manje precizan. 

AI može puno pomoći, ali je i dalje bitno imati kvalitetne podatke u sustavu te jasno definirati što model smije, a što ne smije uzeti u obzir

Vlastiti AI pomoćnik

Factory radi rješenja za klijente koji upravljaju velikom količinom podataka. Najbolji argumenti za uvođenje RAG-a su goleme baze proizvoda, dokumentacije ili internih pravila u kojima se ni zaposlenici tvrtki ne snalaze, pojašnjava naš sugovornik:

Tu RAG radi najveću razliku. Umjesto sati pretraživanja po mapama i bazama, zaposlenik postavi jednostavno pitanje i dobije relevantan odgovor.

Navodi nam i primjer webshopa pojačanog RAG pretragom proizvoda gdje korisnik ne mora znati točan naziv proizvoda ili ga filtrirati kroz stotine kategorija, već može jednostavno pitati: “Trebam ideju za poklon djevojci koja voli sport i putovanja.” RAG će, navodi, pretražiti katalog, uzeti u obzir kontekst i ponuditi relevantne proizvode:

Pimcore za ta rješenja osigurava centralizirani sustav u kojem su svi podaci o proizvodima i informacijama uredno strukturirani, konzistentni i ažurni, što je nužno za kvalitetne rezultate.

Pimcore je razvio Copilot, vlastitog AI asistenta koji se integrira direktno u sustav i, između ostalog, omogućuje korisnicima pretraživanje prirodnim jezikom. Taj asistent utemeljen na AI i RAG-u pomaže analizirati i uređivati podatke, predlaže optimizacije i olakšava svakodnevne zadatke oko upravljanja sadržajem i proizvodnim informacijama. 

Primjena RAG-a

Marko nam kaže kako je primjena RAG-a veoma široka. Navodi primjer korištenja u maloprodaji i veleprodaji – za brzu pretragu i usporedbu artikala, cijena i zaliha te za obogaćivanje informacija o proizvodima kao što su kategorizacija, tagiranje i automatizacija procesa umjesto ručne obrade. Primjerice, statistički podaci kupca mogu biti proslijeđeni AI-ju kako bi sam odlučio koje artikle ponuditi kupcu.

Ističe i kako ga je u proizvodnji moguće koristiti za jednostavan pristup tehničkim dokumentima, procesima i priručnicima, u farmaciji za rad s regulatornim dokumentima i validaciju podataka…

Primjena je mnogo, no i oni u Factoryju su pažljivi, prate trendove, no razvijaju rješenja tamo gdje misle da klijentima to donosi najveću vrijednost i gdje to ima smisla, navodi Marko:

Naš pristup je vrlo pragmatičan – sve što je novo prvo testiramo interno kroz prototipe. Kad vidimo da je dovoljno stabilno i stvarno rješava problem, tek onda ide prema klijentima. Time čuvamo balans između inovacije i pouzdanosti.

Standard za budućnost

Za našeg sugovornika nema sumnje, RAG je već danas standard za rješavanje poslovnih problema s velikim količinama kompleksnih podataka. Većina ozbiljnih AI rješenja se i temelji na načelu prema kojem model mora imati pristup stvarnim podacima, a ne samo “pričati iz glave”. 

U tom smjeru već idu i veliki igrači, kaže Marko te dodaje primjer Model Context Protocola (MCP) koji je u kratko vrijeme postao novi način za povezivanje modela s različitim izvorima podataka i alatima kao RAG rješenje:

To potvrđuje kako je industrija prepoznaje važnost konteksta i rada s provjerenim informacijama i što dodaje najveću vrijednost tvrtkama.

Kako modeli postaju sve precizniji, a količina poslovnih podataka sve veća, logično je očekivati AI koji će davati odgovore isključivo na temelju stvarnih i ažurnih podataka. Sve drugo je prevelik rizik.

Više o ovoj temi možete čuti i uživo od Marka 13. studenog na Pimcore Community Dev Daysima u Frankfurtu.