Kako podatkovni stručnjaci navigiraju morem raznovrsnih podataka?

Što je važno za navigaciju kroz svijet pun raznovrsnih podataka? Donosimo iskustva stručnjaka

Potrebno je puno različitih znanja i vještina kako bi se iz podataka izvukle vrijedne informacije, što zahtijeva i raznolik kadar koji će se tome posvetiti. Kako rade različiti podatkovni stručnjaci otkrivamo uz iOLAP (an Elixirr Company).

Bez analize raznovrsnih setova i vrsta podataka nema kvalitetnog donošenja važnih (poslovnih) odluka, oni omogućuju cjelovitije razumijevanje složenih pojava i događaja, a mogu pomoći u smanjivanju predrasuda i poboljšavanju uvida koje stječemo. Također, mogu biti korisni pri identificiranju obrazaca i trendova, ali i otkrivanju iznimki koje bi nam mogle promaći oslonimo li se na samo jedan izvor podataka.

A takav pristup traži i promiče suradnju stručnjaka iz različitih područja.

Kao primjer iz domaće prakse, tu su stručnjaci iz iOLAP-a, koji se raznovrsnim podacima bave svatko na svoj način – tim više jer u iOLAP-u pokrivaju puni životni ciklus podataka. S nama su o svojim ulogama, odgovornostima i napretku u iOLAP-u pričali Barbara Brčić (Head of Data & Analytics), Dario Fabijančić (Team Lead and Senior Python Developer) i Borna Pleše (ETL Developer).

Iz svemirskih tehnologija u podatke

Barbara, koja je u iOLAP-u voditeljica odjela za podatke i analitiku, može se pohvaliti nesvakidašnjim životopisom, koji i sam odiše raznolikostima. Rodom je iz Kutine, ali se u srednjoj školi preselila u Rijeku, gdje je završila Pomorski fakultet. Potom ju je put odveo u Peking, na diplomski studij Primjene svemirskih tehnologija. Kad je i to završila, vratila se u Hrvatsku i zaposlila u iOLAP-u.

Tijekom cijelog obrazovanja privlačila su me istraživanja i teme povezane s analitikom pa sam odlučila okušati se u karijeri koja ih povezuje i počela raditi kao podatkovni znanstvenik.

S vremenom je, s obzirom na to da je radila s cloud tehnologijama, fokus prebacila na podatkovno inženjerstvo i DevOps. Vrlo brzo je počela voditi manji projektni tim, a sad, pet godina kasnije, vodi čitav odjel.

Posao s više uloga

Cijeli iOLAP-ov odjel Data & Analytics, na čijem je čelu, sastoji se od tri tima (tim za podatkovno inženjerstvo, koji je ujedno i najveći pojedinačni tim te timovi za analitiku i umjetnu inteligenciju), u kojem je više od 120 zaposlenih.

Zato i posao kojim se Barbara bavi često uključuje različite uloge. Više je timski orijentirana jer svakodnevno surađuje s velikim brojem ljudi te je uključena u više inicijativa i projekata.

Tipičan Barbarin dan mješavina je zadataka vezanih uz projekte – od koordinacije s klijentima i timovima, do tehnoloških rješenja i osmišljavanja arhitektura. Za to je potrebno poznavanje poslovne logike, definiranje jasnih ciljeva i rokova te organizacija posla. Jedan dio dana obično rezervira i za vođenje odjela za analizu podataka, provođenje razvojne strategije za ljude i odjel u cjelini te suradnje s drugim odjelima.

Moja odgovornost je koordinacija među timovima, planiranje posla prema zadanim rokovima, upravljanje očekivanjima klijenata te osmišljavanje tehnoloških rješenja.

Većinom surađujem s drugim voditeljima timova, koji dalje rade na razvoju rješenja sa svojim timovima. Moja briga je da svi s kojima surađujem imaju informacije koje su im potrebne za uspješno obavljanje njihovih zadataka.

Prvo timovi, onda tehnološka rješenja

Najveći izazovi s kojima se Barbara susreće u svom radu su uglavnom vezani uz očekivanja klijenata i organizaciju rada, u manjoj mjeri uz tehničku implementaciju.

Mislim da je ljudima najveća nepoznanica koliko je pripreme i organizacije potrebno da timovi i projekti funkcioniraju uspješno. Kad se timovi i očekivanja dobro poslože, tada se moj fokus prebacuje na tehnološka rješenja.

Kad je riječ o poslu, najviše ju ponosom ispunjava kad vidi koliko se ljudi s kojima radi razvijaju iz dana u dan.

Osobito sam ponosna vidjeti koliko su napredovali od kad su krenuli kao juniori te koliko toga su naučili kada napreduju na mid i seniorske razine. Većina seniora su ljudi koji su do te razine napredovali kroz iOLAP, što onda motivira i ostale na daljnji razvoj i napredak.

Set vještina koje pokriva njezin tim veoma je širok, a fokus je na modernim data engineering tehnologijama uključujući različite cloud platforme i alate. No Barbara dodaje kako je uz tehnologiju važno razvijati komunikacijske vještine jer bez dobre komunikacije ništa drugo neće funkcionirati. Osim toga, treba znati preuzeti odgovornost za svoje zadatke, imati želju za učenjem i motivaciju.

Što se novih članova tima tiče, za njih ističe kako je bitno da razumiju očekivanja i odgovornosti, procese i načine napredovanja. Pri onboardingu će svakako uzeti u obzir njihovo prijašnje znanje i iskustvo, a trajanje procesa ovisi o samoj osobi i njihovom iskustvu, ali i kompleksnosti projekta. U pojedinim slučajevima je, zbog kompleksnosti projekta, za to potrebno i nekoliko mjeseci.

Barbara očekuje kako će njen tim nastaviti rasti i proširivati spektar tehnologija i klijenata s kojima rade.

“Konzultanti nisu prodavači magle”

Dario je arhitekt rješenja za data engineering na AWS-u. Također ima tim koji vodi.

Iz Rijeke je, gdje je završio strojarstvo na Tehničkom fakultetu. Dok se bavio simuliranjem fluida, primijetio je kako više vremena posvećuje open source alatima nego samom istraživanju, stoga je po završetku studija odlučio promijeniti karijeru.

iOLAP mi je ponudio da radim s novim tehnologijama, s cloudom i blockchainom (za koji se onda činilo da ima mnogo potencijala).

U privatnom životu najviše je okružen drugim inženjerima, koji uglavnom ne razumiju konzultantski aspekt njegovog posla.

Zezancija je uvijek oko toga kako su konzultanti prodavači magle. Naravno, teško je promijeniti mišljenje nekome tko ulazi u raspravu sa skeptičnim pogledom na stvari… U stvarnosti, tehnički konzultanti moraju jako detaljno poznavati tehnologije jer trebaju uskočiti organizacijama kojima nedostaju određene kompetencije.

Trebaju znati više od same implementacije tehnologije, imati širi pogled oko toga koji je točno utjecaj na poslovanje, što mi je jako zanimljivo.

Izazovi i prilike u primjeni rješenja

Njegov tipični radni dan sastoji se od brzih sastanaka i razdoblja kad je fokusiran na zahtjevnije poslove poput dizajniranja arhitekture, dokumentiranja dizajna, pisanja koda ili planiranja zadataka za tim.

Naravno, dodaje kako je timski dio rada nužan zato što iOLAP-ova rješenja koriste tehnologije iz nekoliko različitih kategorija. Kako bi se razvilo potpuno rješenje, uz podatkovno inženjerstvo potrebno je upregnuti snage iz DevOpsa, MLOpsa, backend i frontend developmenta… No, moderne cloud tehnologije ključna su razlika u odnosu na klasična rješenja podatkovnog inženjeringa, dodaje Dario.

Našim klijentima je vrlo bitno imati rješenja koja mogu raditi na velikim setovima podataka (Big Data), da mogu biti dostupni globalno i da to sve prate određene sigurnosne mjere koje se provjeravaju certificiranim audit procesima. 

Takav razvoj ima svoje specifične probleme koji se često sastoje od rješavanja mušica koje dolaze s primjenom novih i često nezrelih tehnoloških rješenja u ozbiljnom proizvodu.

Dariju je u poslu najvažnije to što je potrebno osmisliti i isporučiti rješenje za konkretan problem.

Najviše sam ponosan na to što smo u prvoj polovici ove godine kao tim dostavili u produkciju aplikaciju koju svakodnevno koristi skupina znanstvenika. Njima se manje važan i repetitivan dio posla smanjio s nekoliko dana na par sati. Sad se mogu koncentrirati na bitne aspekte svojeg posla i ne gube vrijeme na tehnikalije.

Širenje tima i kompetencija

Kako smo spomenuli, za obavljanje posla kojim se bave Dario i njegov tim važne su, naravno, tehničke kompetencije iz raznolikih područja pa je ključno da svaki član tima može držati svoj “kut kuće”. Također, očekuje proširivanje kompetencija u novijim tehnologijama, poput rješenja za strojno učenje, i svih alata potrebnih za razvoj i održavanje takvih rješenja obuhvaćenih nazivom MLOps.

Taj novi smjer koji se pojavio ogromnom popularizacijom generativnih modela kroz ChatGPT od OpenAI-a je stvorio novi interes iz svih grana industrije.

Sigurno će biti izazovno dovesti veći broj inženjera na razinu tehničkog znanja gdje se mogu dostavljati kvalitetna i konzistentna rješenja, ali to je izazov s kojim se jedva čekam baviti.

Od walkmana do baza podataka

ETL developer Borna u iOLAP-u radi klasično podatkovno inženjerstvo i slaganje podatkovne arhitekture. Rođen i odrastao u Zagrebu, cijeli je život prčkao po računalima i elektronici.

U obitelji smo imali pravilo: niti jedan pokvareni uređaj ne bacaš ako ga prvo nisi pokušao popraviti.

Interesi su ga povukli prema društvenim znanostima, što je spletom okolnosti dovelo do prvog posla u kojem je morao miješati društvena istraživanja s alatima za obradu podataka. To je, pak, dovelo do ozbiljnijeg bavljenja bazama podataka, na koje je navalio s podjednakim žarom kao što je bio slučaj s prvim walkmanom.

Borna je uvjeren kako većina ljudi ne razumije količinu pripreme potrebnu za postizanje dobrih rezultata.

Podaci koji generiraju poslovnu vrijednost su proizvod dugog procesa izgradnje razumijevanja s dionicima, tehničke pripreme i čišćenja.

Tek onda dolazimo do tog “heureka“ trenutka, kada računala pružaju odgovore na bitna pitanja.

Trenutno radi s klijentom čiji su timovi u tri vremenske zone i pritom koordinira rad vlastitog tima pa dobar dio dana provodi na usklađivanju komunikacije među timovima i s klijentom.

Konkretno, radim na redizajnu podatkovne arhitekture što podrazumijeva puno kopanja po dokumentaciji i postojećim bazama podataka i osmišljavanje kako ih prilagoditi i unaprijediti tako da podržavaju poslovne procese, koji se također iz temelja mijenjaju.

I sitnice su važne

Za takav posao ključna je dobra organizacija i jasna komunikacija. Bitno je posao segmentirati u dovoljno malene cjeline, kako bi bilo lako pratiti napredak, komentira Borna, ali dodatno ističe i kako je bitno pritom ne izgubiti smisao šireg projekta ili cilja.

Borna svakom zadatku pokušava pristupiti kao da je timski.

Narav našeg posla je takva da radimo za klijenta pa čak i zadaci koji pretpostavljaju samostalni angažman znače kako je barem na početku i na kraju bitno postignuti dogovor oko očekivanog rezultata. 

Često i tijekom posla postoji potreba za prilagodbu ili promjenu. 

Isto vrijedi za zadatke koje radimo baš timski. Drugi par očiju često je najvrjedniji alat za provjeru kvalitete posla. Par minuta konzultacije nekada može uštedjeti sate ili dane mukotrpnog posla.

Uvijek je najponosniji na posljednju stvar koju je napravio, koliko god mala ona bila.

Mislim da se ljudi lako demotiviraju ako samo slave velika postignuća. Treba slaviti i sitnice. Otklanjanje jedne malene greške možda neće promijeniti svijet, ali je opipljiv rezultat našeg rada.

Pamtimo ljude, ne bugove

Međutim, kad malo šire pogleda, najveći izvor zadovoljstva u poslu su pozitivni komentari i dobra radna atmosfera među članovima tima i s klijentima.

Za deset godina neću pamtiti bugove, ali ljude hoću pa mi je bitno da nam suradnja ostane u dobrom sjećanju.

Njegov tim trenutno broji šest ljudi. S obzirom na senioritet, vještine i vlastite preference, raspoređeni su tako da ih dvoje vodi projektnu i operativnu komunikaciju s klijentom, a ostali rade na specifičnim tehničkim zadacima.

Koordiniram i konzultiram kada sam potreban u tom timu, ali većinom surađujem s klijentom na poslovima redizajna skladišta podataka.

Kod kolegica i kolega najviše cijeni znatiželju i želju za učenjem, bez obzira na razinu senioriteta.

Tehnologija, alati i standardi se stalno mijenjaju pa je bitno balansirati produktivan rad s konstantnim učenjem novih metoda, ali i prepoznavanja “hype“ koncepata koje ne donose neku vrijednost. Čvrsta tehnička podloga je nužna, ali nije dovoljna već uz nju mora biti prisutna i određena razina komunikativnosti i motivacije za stalno unaprjeđenje te prenošenje znanja.

Ako su vas Barbara, Dario ili Borna zainteresirali za njihova područja rada, a pronalazite se i u opisu znanja, vještina i interesa koje traže u novim članovima tima, svakako bacite oko na njihove otvorene pozicije na iOLAP-ovim stranicama karijera.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Mobilne aplikacije

ZET-ov štrajk iznjedrio nova digitalna rješenja za prijevoz po Zagrebu

Zagreb je jutros ostao bez redovitog tramvajskog i autobusnog prometa, no građani su brzo počeli tražiti alternativna rješenja. Uz organiziranje zajedničkih vožnji, pojavilo se i nekoliko digitalnih projekata koji pokušavaju povezati vozače i putnike.

Vodič

Imate pretplatu na AI alate? Evo što računovođe kažu o ispravnom evidentiranju

U novoj kolumni Bruno Cvitanović, direktor računovodstvenog i konzultantskog servisa Brojevi objašnjava kako računovodstveno tretirati AI alate, što vrijedi za poduzetnike izvan sustava PDV-a i na koje pogreške treba paziti.

Veliki intervjui

AI piše više koda nego ikad, a software ne razvijamo brže

AI danas može proizvesti više koda nego što ga razvojni timovi mogu pregledati, testirati i održavati. No ako brže "pišemo" kod, a sporije provjeravamo što smo zapravo izgradili, jesmo li doista postali produktivniji?

Što ste propustili

Pametni automobili

Napokon smo se provozali Verneovim robotaksijem!

Nakon što smo u Zagrebu bezuspješno pokušali uhvatiti Verneov robotaksi putem Uberove aplikacije, zvijezde su se posložile i mi smo dobili poziv koji se ne odbija.

Umjetna inteligencija

Tko zbog AI-ja i dalje ulaže u ljude, a tko otpušta 50% radne snage?

Dok neke tvrtke nastavljaju i zapošljavati i ulagati u AI, druge su odabrale samo potonje. Kako različite tvrtke pristupaju promjenama na tržištu, doznali smo na Automation Summitu.

Novost

Gamepires najavio otpuštanja, smanjuje tim koji radi na SCUM-u

Gamepires, koji stoji iza igre SCUM, smanjuje broj zaposlenih zbog zahtjevnih tržišnih uvjeta. Objava dolazi nekoliko mjeseci nakon što je studio preuzeo britanski Splash Damage.

Vodič

Imate pretplatu na AI alate? Evo što računovođe kažu o ispravnom evidentiranju

U novoj kolumni Bruno Cvitanović, direktor računovodstvenog i konzultantskog servisa Brojevi objašnjava kako računovodstveno tretirati AI alate, što vrijedi za poduzetnike izvan sustava PDV-a i na koje pogreške treba paziti.

Veliki intervjui

Ako AI može napraviti film ili igru, što ostaje kreativcima? Odgovara CEO Nanobita

Može li umjetna inteligencija promijeniti način na koji nastaju filmovi i igre, a da pritom ne žrtvujemo kvalitetu priče i kreativnu viziju? Nanobit već testira odgovor na to pitanje, razvijajući AI produkcijske procese koji otvaraju mogućnost stvaranja sadržaja velikom brzinom.

Netokracija Podcast

Dekan FER-a: AI ne može zamijeniti temeljno znanje inženjera

Umjetna inteligencija mijenja način na koji radimo, ali bez temeljnih znanja nema ni kvalitetnih inženjera ni ozbiljnog tehnološkog napretka. U razgovoru s dekanom FER-a otkrivamo zašto je važno ulagati u istraživanje i razvoj, kako povezati fakultete i industriju te gdje se otvaraju nove prilike za Hrvatsku – od robotike i fizičke umjetne inteligencije do razvoja visokotehnoloških proizvoda.