Kako postati podatkovni inženjer? Od PMF-a do industrije – ovo je moj karijerni put

Podaci su pokretač nove industrijske revolucije, kao takvi predstavljaju jedinstveni resurs koji stručnom obradom omogućuje pametnije i efikasnije poslovanje. Posljedicom toga pokazala se i potreba za specijaliziranim stručnjacima na novim područjima kao što su podatkovno inženjerstvo i podatkovna znanost, što možemo vidjeti i jednostavnim uvidom u Google Trends podatke.

Međutim, za sazrijevanje podatkovnog inženjera osim znanja potrebno je puno energije, motivacije i vremena.

Za početak, važno je imati akademsku razinu znanja iz prirodnih i tehničkih znanosti te se nakon toga preporučuje radno iskustvo u ICT industriji i konstantno nadopunjavanje i usavršavanje svojeg seta vještina i znanja u željenom smjeru, što uključuje edukacije i razmjene znanja kroz brojne i zahtjevne projekte.

Što zapravo radi podatkovni inženjer?

Podatkovni inženjer i podatkovni znanstvenik uz Solution Architecta najčešće formiraju tim čiji je zadatak izrada konačnog podatkovnog rješenja. Podatkovno inženjerstvo tako obuhvaća obradu (dohvat, čišćenje i transformaciju) podataka i izgradnju podatkovnih cjevovoda (tzv. Data pipeline) za automatizaciju procesa obrade podataka. Podaci su zatim spremni za korištenje strojnog učenja (tzv. machine learning) ili drugog algoritma iz matematičkog arsenala koji podatkovni znanstvenik onda koristi za izradu napredne analitike.

Podatkovni inženjer proširuje i unaprjeđuje set vještina koje posjeduje ETL developer. ETL developer koristi već poznate alate u kontroliranim okolinama gdje se koriste strukturirani izvori podataka, dok podatkovni inženjer više podsjeća na softver developera koristeći različite programske jezike, radi sa strukturiranim, polustrukturiranim i nestrukturiranim izvorima podataka što mu omogućuje više fleksibilnosti.

Kao što rafinerija nafte procesiranjem sirove nafte izdvaja derivate koji se kasnije koriste kao izvor energije u različite svrhe, tako i podatkovni inženjer igra centralnu ulogu u dobivanju vrijednosti iz podataka. Prilikom kreiranja automatskih financijskih izvještaja bilo za menadžment ili možda dioničare, prvo što je potrebno je skupiti i procesirati podatke kako bi bili spremni za novu svrhu.

Nema dobre analize bez dobro uređenih podataka

Prvi korak kod optimiziranja prodaje i nabave je objediniti sve potrebne podatke i procesirati ih. Pametne aplikacije u pozadini također rade s velikom količinom podataka te i ovdje bitnu ulogu igra podatkovni inženjer, jer skladišti i procesira podatke kako bi ih kasnije mogli koristiti u naprednoj analizi korištenja aplikacije. Ukratko, svaki proces automatizacije i optimizacije uključuje podatke podatkovnog inženjera.

Također je važno poznavanje distribuiranih sustava, jer danas često postoji potreba za upošljavanjem dodatnih tehnologija “otvorenog koda”, koje pospješuju obradu velike količine podataka tzv. Big Data. Uz sve navedeno podatkovni inženjer mora izvrsno poznavati sustave pohrane podataka Data Warehouses i Data Lakes te raspolagati strojnim učenjem i Linux sistemima.

Uz znatan porast migracija IT infrastrukture na platforme u oblaku, vrlo lako uviđamo zbog čega je upravo veća fleksibilnost tako veliki plus, što rezultira još i većom potrebom za konceptima i znanjima podatkovnog inženjerstva.

A pod utjecajem svega toga krenuo je i moj put…

Od znanstvenika fizičara do podatkovnog znanstvenika

Ljubav prema obradi podataka i programiranju rodila se još tijekom znanstvenog studija fizike na Prirodoslovno-matematičkom fakultetu Sveučilišta u Zagrebu. Na mom putu da postanem podatkovni inženjer bilo je puno izazova, a najveći je odluka da se nakon znanstvenog orijentiranog studija fizike odlučim baviti isključivo podacima i analizama podataka te opredijelim svoju karijeru graditi u ICT industriji.

Osim na PMF-u, surađivao sam na projektima Rudarsko-geološkog-naftnog fakulteta (RGNF-a), gdje sam programirao neuronsku mrežu koja predviđa optimalne parametre miniranja prema lokacijama na terenu. Prilikom izrade sam se susreo s velikom količinom podataka koja je zahtijevala specifičan način obrade. Kroz projekt sam sve više upoznavao i učio nove tehnologije, a posebno me fascinirala potreba za specifičnim analizama setova podataka i njihova specifična priprema za same analize.

Posljedično sam zagrebao Big data područje.

Na diplomskom radu pod temom međudjelujućih kompleksnih mreža, gdje sam se dodatno upoznao s novim programskim jezicima, napokon sam čvrsto odlučio da se želim baviti Big data tehnologijama. Moj potencijal, želju za radom i znanjem prepoznali su u Poslovnoj inteligenciji, gdje sam se upoznao s novim i inovativnim poslovnim područjima ICT industrije. Tehnički direktor Nikola Kljajo prepoznao je moj trud i inicijativu te je maksimalno podržao moj daljnji razvoj kao podatkovnog inženjera.

Učenik koji je postao učitelj

Uz svakodnevni rad, nakon radnog vremena bih pohađao sve tečajeve koji pružaju potrebna znanja za bavljenje Big Data tehnologijama, osobito podatkovnim inženjerstvom i strojnim učenjem. Svoje znanje i sposobnosti sam dalje utvrđivao i proširivao sa svojim Data Engineering i Data Science (DE&DS) timom kroz projekte.

Upravo zbog toga, a i sve većeg rasta tržišta, imao sam veliku želju prenijeti znanje kolegama te sam osmislio program radionica kojeg smo nazvali “Data Engineering Školica”. Nedavno smo tako započeli s programom radionica gdje koristimo programske jezike i tehnologije u praktičnim primjerima.

Iako je prvotno održavanje planirano u prostorima Poslovne Inteligencije, zbog novonastale situacije sa svjetskom pandemijom, cijeli program smo odlučili nastaviti online, što je odlično prihvaćeno i pokazalo se kao dobra odluka.

Direktori i kolege su prepoznali potencijal te su podržali ideju i želju za jačanjem podatkovnih vještina svih zainteresiranih. Školica se održava jednom tjedno nakon radnog vremena u trajanju od dva do tri sata, a snimka radionice i pripadajući zadaci za vježbu su dostupni zaposlenicima online.

Podatkovna znanost ulazi na velika vrata

Misija Data Engineeringa je omogućivanje razvijanja dodatnih poslovnih prilika iz raznolikih izvora podataka, a kompanije kao što su Google, Netflix i Facebook su među prvima to prepoznale. Pokrenuli su značajne inovacije na području obrade podataka što se odrazilo na porast potrebe za stručnim ljudima u tom području. Upravo te i brojne druge inovacije dolaze ili su već došle u Hrvatsku.

Prema već spomenutoj slici iz Google Trendsa možemo predvidjeti porast potražnje za znanjima podatkovnog inženjera u Hrvatskoj. Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Tako smo i u Poslovnoj inteligenciji pratili potrebe na tržištu i odgovorili na taj izazov te smo podržali razvoj poslovnih modela koji se temelje na podacima i naprednoj analitici. Naši su klijenti to već prepoznali i odlučili iskoristiti fleksibilnost što im je omogućilo performansni i poslovni benefit, kao što je optimizacija poslovnih procesa, povećanje profita, povećanje zadovoljstva klijenata i zaposlenika. Upravo zbog toga smo i okupili tim stručnjaka s iskustvom u ovom području.

Također, ovo daje priliku zaposlenicima Poslovne Inteligencije da se susretnu s najnovijim izazovima u području Big Data te najnovijim otkrićima i primjenama u području strojnog učenja. Kroz program radionica i praktičan rad s našim klijentima poduzeli smo male korake koji čvrsto koračaju prema velikom cilju.