Netokracija

iOLAPov AI tim: Kako LLMovima optimiziraju klijentske procese i sustave

U razgovoru s iOLAPovim inženjerima koji su se fokusirali na područje umjetne inteligencije i strojnog učenja, otkrivamo više o njihovom razvoju karijere, edukaciji, svakodnevnim zadacima i budućim izazovima.

iOLAP, an Elixirr company, tijekom posljednjih 20 godina izrastao je u vodeću end-to-end tehnološku tvrtku. Njihov AI & ML tim trenutno broji 15 stručnjaka, a s obzirom na obujam posla, u aktivnoj su potrazi za pojačanjima.

Kako bismo saznali na kojim projektima rade, kada su se zainteresirali za AI, kako izgleda njihov dan, ali i usput “pokupili” pokoje savjete, razgovarali smo s dvojicom njihovih inženjera. Oni su Davor Vukadin (AI Engineer) i Ivan Erjavac (AI/ML Engineer).

Fakultet nam je otvorio vrata u svijet AI-a

Ivanovo zanimanje za AI seže još u doba studiranja kada se počeo educirati o strojnom učenju, a svoje znanje razvijao je i van zgrade fakulteta, kako uz dostupnu literaturu tako i uz online tečajeve. Naposljetku je i svoj diplomski studij usmjerio ka strojnom učenju.

Koliko god da je znanje s fakulteta vrijedno, toliko je još vrjednije ono praktično jer omogućava primjenu teorijskih koncepata u stvarnom svijetu, što rezultira konkretnim iskustvom i vještinama koje su često nezamjenjive u profesionalnom i svakodnevnom životu.

Paralelno uz studij radio sam u iOLAP-u gdje mi je pružena prilika i profesionalno se razvijati u podatkovnoj industriji, uključujući i područje AI-a.

Poput svog kolege, i Davor je ljepotu AI-a spoznao još na fakultetu, a na prijediplomskom studiju je imao priliku raditi na projektu koji je uključivao analizu mamografskih slika s pomoću metoda dubokog učenja.

Taj projekt me zainteresirao i za ostala područja AI-a, kao što su generiranje slika s pomoću generativnih suparničkih mreža, obrade teksta putem novih transformer arhitektura i, naposljetku, područje explainable AI-a.

Završetak formalnog obrazovanja ne znači završetak učenja

Tehnološka industrija zahtijeva neprestano usavršavanje, a završetak formalnog obrazovanja ne znači završetak učenja. Kako bi stalno unaprjeđivao svoje vještine i znanje u dinamičnom području umjetne inteligencije, Davor poduzima nekoliko koraka.

Redovito pratim relevantne konferencije, seminare i događaje posvećene umjetnoj inteligenciji. Sudjelovanje na takvim događajima pruža mi priliku da čujem najnovija istraživanja, trendove i prakse direktno od relevantnih stručnjaka u području.

Aktivno pratim najnovije znanstvene članke, što mi omogućuje saznanje o novim metodama, tehnologijama i otkrićima u polju umjetne inteligencije.

Na kraju, koristim platforme poput GitHuba kako bih istražio nove alate, biblioteke i projekte koji bi mi mogli biti korisni u trenutnom ili budućem projektu.

S druge strane, Ivan najčešće koristi platforme društvenog karaktera kao što su LinkedIn, YouTube i Medium.

One obično među prvima pružaju informacije o novim alatima, tehnologijama i metodama. Kada mi treba dublje upoznavanje s određenom tematikom, obično posegnem za nekom knjigom, tečajem, službenom dokumentacijom ili znanstvenim radom.

LLM-ovima optimiziraju procese i arhitekture klijentskih sustava

Ivan trenutno analizira podatke iz nekoliko klijentovih ITSM sustava, a u planu je razvoj LLM-a koji će odgovarati na klijentova pitanja koristeći klijentove podatke.

Ivan je u iOLAP-u trenutno angažiran na projektu gdje analizira podatke iz nekoliko klijentovih ITSM sustava kako bi im pomogao bolje razumjeti ključne probleme u njihovoj internoj IT arhitekturi. Cilj te analize je postići brže rješavanje problema i optimizirati sustav.

Ideja je identificirati klijentove probleme i upoznati se s podacima kroz analitiku podataka te u kasnijim fazama razviti i deployati LLM koji će odgovarati na klijentova pitanja koristeći njihove vlastite podatke.

Davor pak radi na projektu koji koristi najnovije LLM-ove kako bi korisnicima omogućio jednostavno prioritiziranje zadataka, eliminiranje većine ručnog i ponavljajućeg rada te značajno optimizirao vrijeme izvršavanja zadataka. Ovi modeli mogu obraditi velike količine informacija u kratkom vremenu i prikazati ih krajnjem korisniku na jednostavan, sažet i strukturirani način. Međutim, korištenje LLM-ova nosi i određene izazove:

Ključni problem leži u osiguravanju kvalitete odgovora s obzirom na dostupni kontekst i tonalitet koji adekvatno prenosi tu informaciju. Kako bismo uspješno savladali ove izazove, fokusiram se na praćenje performansi LLM-ova i automatsku evaluaciju kvalitete njihovih odgovora. Ovo nam omogućuje da brzo reagiramo i riješimo eventualne nedostatke u sustavu.

“Najviše me motivira kada vidim da je naše rješenje napravilo neki pozitivan pomak”

Ljepota rada u tehnološkom sektoru ogleda se u tome što su rezultati vašeg rada u većini slučajeva veoma konkretni. Tehnološka rješenja mogu nekad i u kratkom roku utjecati na unaprjeđenje poslovanja ili život krajnjeg korisnika, upravo to Davora i najviše motivira u njegovom radu, između ostalog.

Drugi izvor motivacije je suočavanje s izazovnim projektima koji zahtijevaju kreativna rješenja. Samo osmišljanje inovativnih pristupa je iznimno interesantno te gotovo uvijek dovode do novog, vrijednog znanja koje može uvelike pomoći u nadolazećim projektima.

A kada smo kod projekata, teško je zaobići tehnikalije… Kao i u većini AI timova, i u iOLAP-u je Python nezaobilazan u implementaciji AI rješenja.

Ključne biblioteke koje koristimo su LangChain, LlamaIndex te transformers biblioteke. LangChain i LlamaIndex pružaju moćne alate za obradu prirodnog jezika, dok transformers biblioteka pruža širok spektar modela i alata za obradu raznih izvora podataka.

Osim toga, snažan je naglasak i na korištenju cloud platformi kao što su AWS (Amazon Web Services) i Azure (Microsoft Azure). Davor objašnjava:

Ove platforme pružaju skalabilnu infrastrukturu, širok spektar usluga za strojno učenje i duboko učenje te alate za upravljanje podacima i resursima. Korištenje cloud platformi omogućuje nam brži razvoj, lakše upravljanje resursima i bolju skalabilnost naših AI aplikacija.

Što čini uspješnog AI inženjera?

Idealan AI inženjer, prema Davorovom mišljenju, osoba je s izraženim komunikacijskim vještinama, otvorena ka novim idejama, metodama i tehnologijama.

Kao što smo u uvodu spomenuli, iOLAP-ov AI & ML tim čini 15 profesionalaca kojima su primarni fokus NLP (Natural Language Processing), LLM-ovi (Large Language Model) te interakcija s LLM-ovima putem Prompt Engineeringa.

U tehnološkoj industriji redovito je dinamično, što znači da svaki radni dan sa sobom nosi nove i drugačije izazove. Ipak, ističu Davor i Ivan, većina dnevnih prioriteta i zadataka unutar tima sastoji se od razvoja novih i unapređenja postojećih AI modela, kao i interakcije sa stakeholderima i drugim inženjerima iz područja AI-a ili nekog drugog tehnološkog područja.

Naravno, zanimalo nas je i koje bi osobine, znanja i vještine trebale krasiti njihovog budućeg kolegu/icu. Osim duboke znatiželje i stalne želje za učenjem, idealan AI inženjer, prema Davorovom mišljenju, je osoba s izraženim komunikacijskim vještinama, otvorena ka novim idejama, metodama i tehnologijama.

AI inženjeri često se suočavaju s izazovima koji zahtijevaju brzo promišljanje, rješavanje problema i suradnju s različitim timovima i stručnjacima. Uspješan AI inženjer trebao bi biti sposoban jasno komunicirati svoje ideje, rezultate istraživanja i tehničke koncepte kako bi efikasno surađivao s kolegama, timovima i klijentima.

iOLAP ima 10 godina i “data engineering” u malom prstu. Danas ih je 200, a tražit će još 100 novih IT stručnjaka

“iOLAP zadovoljava sve kriterije koje imam”

Plaća u tehnološkom sektoru je iznadprosječna, ali to nije jedino čime će se zadržati kvalitetni zaposlenici. Da je tome tako, potvrđuju i naši sugovornici, ističući poticanje kreativnosti, projektno orijentiran način rada, suradnju sa stručnjacima te fleksibilnu i agilnu radnu kulturu kao jedne od najvećih prednosti rada u iOLAP-u, koji je dio Elixirr grupacije.

Kao inženjeru, važno mi je imati mogućnost konstantnog produbljivanja i proširivanja svog znanja. Interesantno mi  je i raditi s različitim klijentima iz različitih industrija, tehničkih pozadina i kultura. Također, sviđa mi se opcija odabira rada iz ureda, rada na daljinu od doma ili s neke treće lokacije te raznovrsni paketi benefita.

Ako ste se prepoznali kao idealan kandidat, prema opisu naših sugovornika, imate strast prema tehnologiji i učenju, a u potrazi ste za pozicijom koja će vam omogućiti učenje od profesionalaca i profesionalno napredovanje, pogledajte iOLAP-ove otvorene pozicije za zapošljavanje.