Kako postati data engineer? Od PMF-a do industrije - ovo je moj karijerni put

Kako postati podatkovni inženjer? Od PMF-a do industrije – ovo je moj karijerni put

Put do podatkovnog inženjera zahtijeva mnogo truda, vremena i konkretna znanja. Ali i sam sam prvo učio da bih kasnije druge podučavao. Što se na tržištu traži i što vas može zateći na putu?

Podaci su pokretač nove industrijske revolucije, kao takvi predstavljaju jedinstveni resurs koji stručnom obradom omogućuje pametnije i efikasnije poslovanje. Posljedicom toga pokazala se i potreba za specijaliziranim stručnjacima na novim područjima kao što su podatkovno inženjerstvo i podatkovna znanost, što možemo vidjeti i jednostavnim uvidom u Google Trends podatke.

Grafički prikaz interesa u periodu od 2010. do 2020. za Data Engineer i Data Scientist termine.

Međutim, za sazrijevanje podatkovnog inženjera osim znanja potrebno je puno energije, motivacije i vremena.

Za početak, važno je imati akademsku razinu znanja iz prirodnih i tehničkih znanosti te se nakon toga preporučuje radno iskustvo u ICT industriji i konstantno nadopunjavanje i usavršavanje svojeg seta vještina i znanja u željenom smjeru, što uključuje edukacije i razmjene znanja kroz brojne i zahtjevne projekte.

Što zapravo radi podatkovni inženjer?

Podatkovni inženjer i podatkovni znanstvenik uz Solution Architecta najčešće formiraju tim čiji je zadatak izrada konačnog podatkovnog rješenja. Podatkovno inženjerstvo tako obuhvaća obradu (dohvat, čišćenje i transformaciju) podataka i izgradnju podatkovnih cjevovoda (tzv. Data pipeline) za automatizaciju procesa obrade podataka. Podaci su zatim spremni za korištenje strojnog učenja (tzv. machine learning) ili drugog algoritma iz matematičkog arsenala koji podatkovni znanstvenik onda koristi za izradu napredne analitike.

Podatkovni inženjer proširuje i unaprjeđuje set vještina koje posjeduje ETL developer. ETL developer koristi već poznate alate u kontroliranim okolinama gdje se koriste strukturirani izvori podataka, dok podatkovni inženjer više podsjeća na softver developera koristeći različite programske jezike, radi sa strukturiranim, polustrukturiranim i nestrukturiranim izvorima podataka što mu omogućuje više fleksibilnosti.

Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Kao što rafinerija nafte procesiranjem sirove nafte izdvaja derivate koji se kasnije koriste kao izvor energije u različite svrhe, tako i podatkovni inženjer igra centralnu ulogu u dobivanju vrijednosti iz podataka. Prilikom kreiranja automatskih financijskih izvještaja bilo za menadžment ili možda dioničare, prvo što je potrebno je skupiti i procesirati podatke kako bi bili spremni za novu svrhu.

Nema dobre analize bez dobro uređenih podataka

Prvi korak kod optimiziranja prodaje i nabave je objediniti sve potrebne podatke i procesirati ih. Pametne aplikacije u pozadini također rade s velikom količinom podataka te i ovdje bitnu ulogu igra podatkovni inženjer, jer skladišti i procesira podatke kako bi ih kasnije mogli koristiti u naprednoj analizi korištenja aplikacije. Ukratko, svaki proces automatizacije i optimizacije uključuje podatke podatkovnog inženjera.

Također je važno poznavanje distribuiranih sustava, jer danas često postoji potreba za upošljavanjem dodatnih tehnologija “otvorenog koda”, koje pospješuju obradu velike količine podataka tzv. Big Data. Uz sve navedeno podatkovni inženjer mora izvrsno poznavati sustave pohrane podataka Data Warehouses i Data Lakes te raspolagati strojnim učenjem i Linux sistemima.

Uz znatan porast migracija IT infrastrukture na platforme u oblaku, vrlo lako uviđamo zbog čega je upravo veća fleksibilnost tako veliki plus, što rezultira još i većom potrebom za konceptima i znanjima podatkovnog inženjerstva.

A pod utjecajem svega toga krenuo je i moj put

Od znanstvenika fizičara do podatkovnog znanstvenika

Ljubav prema obradi podataka i programiranju rodila se još tijekom znanstvenog studija fizike na Prirodoslovno-matematičkom fakultetu Sveučilišta u Zagrebu. Na mom putu da postanem podatkovni inženjer bilo je puno izazova, a najveći je odluka da se nakon znanstvenog orijentiranog studija fizike odlučim baviti isključivo podacima i analizama podataka te opredijelim svoju karijeru graditi u ICT industriji.

Osim na PMF-u, surađivao sam na projektima Rudarsko-geološkog-naftnog fakulteta (RGNF-a), gdje sam programirao neuronsku mrežu koja predviđa optimalne parametre miniranja prema lokacijama na terenu. Prilikom izrade sam se susreo s velikom količinom podataka koja je zahtijevala specifičan način obrade. Kroz projekt sam sve više upoznavao i učio nove tehnologije, a posebno me fascinirala potreba za specifičnim analizama setova podataka i njihova specifična priprema za same analize.

Posljedično sam zagrebao Big data područje.

Na diplomskom radu pod temom međudjelujućih kompleksnih mreža, gdje sam se dodatno upoznao s novim programskim jezicima, napokon sam čvrsto odlučio da se želim baviti Big data tehnologijama. Moj potencijal, želju za radom i znanjem prepoznali su u Poslovnoj inteligenciji, gdje sam se upoznao s novim i inovativnim poslovnim područjima ICT industrije. Tehnički direktor Nikola Kljajo prepoznao je moj trud i inicijativu te je maksimalno podržao moj daljnji razvoj kao podatkovnog inženjera.

Najuži tim DE&DS tima čine: Data scientist Ana-Marija Petric, Solution architect Petar Pejaković i ja kao Data engineer.

Učenik koji je postao učitelj

Uz svakodnevni rad, nakon radnog vremena bih pohađao sve tečajeve koji pružaju potrebna znanja za bavljenje Big Data tehnologijama, osobito podatkovnim inženjerstvom i strojnim učenjem. Svoje znanje i sposobnosti sam dalje utvrđivao i proširivao sa svojim Data Engineering i Data Science (DE&DS) timom kroz projekte.

Upravo zbog toga, a i sve većeg rasta tržišta, imao sam veliku želju prenijeti znanje kolegama te sam osmislio program radionica kojeg smo nazvali “Data Engineering Školica”. Nedavno smo tako započeli s programom radionica gdje koristimo programske jezike i tehnologije u praktičnim primjerima.

Iako je prvotno održavanje planirano u prostorima Poslovne Inteligencije, zbog novonastale situacije sa svjetskom pandemijom, cijeli program smo odlučili nastaviti online, što je odlično prihvaćeno i pokazalo se kao dobra odluka.

Direktori i kolege su prepoznali potencijal te su podržali ideju i želju za jačanjem podatkovnih vještina svih zainteresiranih. Školica se održava jednom tjedno nakon radnog vremena u trajanju od dva do tri sata, a snimka radionice i pripadajući zadaci za vježbu su dostupni zaposlenicima online.

Podatkovna znanost ulazi na velika vrata

Misija Data Engineeringa je omogućivanje razvijanja dodatnih poslovnih prilika iz raznolikih izvora podataka, a kompanije kao što su Google, Netflix i Facebook su među prvima to prepoznale. Pokrenuli su značajne inovacije na području obrade podataka što se odrazilo na porast potrebe za stručnim ljudima u tom području. Upravo te i brojne druge inovacije dolaze ili su već došle u Hrvatsku.

Prema već spomenutoj slici iz Google Trendsa možemo predvidjeti porast potražnje za znanjima podatkovnog inženjera u Hrvatskoj. Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Tako smo i u Poslovnoj inteligenciji pratili potrebe na tržištu i odgovorili na taj izazov te smo podržali razvoj poslovnih modela koji se temelje na podacima i naprednoj analitici. Naši su klijenti to već prepoznali i odlučili iskoristiti fleksibilnost što im je omogućilo performansni i poslovni benefit, kao što je optimizacija poslovnih procesa, povećanje profita, povećanje zadovoljstva klijenata i zaposlenika. Upravo zbog toga smo i okupili tim stručnjaka s iskustvom u ovom području.

Također, ovo daje priliku zaposlenicima Poslovne Inteligencije da se susretnu s najnovijim izazovima u području Big Data te najnovijim otkrićima i primjenama u području strojnog učenja. Kroz program radionica i praktičan rad s našim klijentima poduzeli smo male korake koji čvrsto koračaju prema velikom cilju.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Analiza

2014. imala sam 10.000 Dogecoina. Danas, kad im je Elon Musk “napumpao” vrijednost, više ih nemam

Možda sam imala i više od 11.000. Možda sam i dobar dio podijelila, teško se prisjetiti tih opskurnih događaja prije gotovo sedam godina kada nismo više bili sigurni što je kriptovaluta, a što meme. A što oboje istodobno.

Startupi i poslovanje

Hoćete li kupiti rabljeni auto preko interneta, pitali smo osnivača Neostara (s 20 godina iskustva u industriji)

Insajder automobilske industrije, od spinoffa Zubak grupe želi stvoriti platformu koja će nam olakšati kupnju i prodaju rabljenih automobila u kojoj nećemo trebati "prijatelja koji se kuži u aute". Hrvatska im je pilot projekt, ali ambicije puno veće!

Digitalni marketing

Zašto je Reddit potrošio milijun dolara na TV spot za vrijeme Super Bowla koji je samo – jpeg?

Društvena mreža Reddit, ovih je dana ponovo vruća tema, ali ovoga puta priča i publika su posve drugačiji od GameStopa koji je punio retke prethodnih tjedana.

Što ste propustili

Startupi i poslovanje

Twitter najavio grupe po uzoru na Facebook i “Super Follow”, opciju sličnu OnlyFansu

Twitter se ovom odlukom približio sve brže rastućem broju platformi koje uključuju neku vrstu ekskluzivnog plaćenog sadržaja.

Tehnologija

Formentor, novi model novog brenda Cupra zbog kojeg su me svi pitali: “Je li ti ovo neki auto za gamere?”

Možda Cupra logo izgleda kao brend računalne periferije usmjerene na gamere, ali njihov Formentor je izvrstan prvi model za novi španjolski automobilski brend.

Startupi i poslovanje

Vaš kupac na vas gleda kao na trošak, a ne kao na stratešku investiciju. Kako to promijeniti?

Ako vaš potencijalni kupac ne razumije sve probleme u kojima se nalazi i potencijale koje mu tehnologija donosi - vašu uslugu ili proizvod prvo će vidjeti kao trošak. I tako će i ostati do kad god mu vi ne nacrtate te probleme i date mu savjet kako ih riješiti. Tek onda trošak postaje strateška investicija. Kako izgleda prodaja koja to postiže?

Tehnologija

AI liga se otvara uz “Tinder za dupine”, a najveća nagrada su mentori/sponzori: Infobip, Photomath i Porsche Digital Croatia

Iz CISEx-a, organizatora lige, predsjednik udruge Davor Runje s nama je porazgovarao o tome što čeka prijavljene i što mogu učiniti oni koji tek ulaze u područje umjetne inteligencije, bili tvrtke ili pojedinci.

Startupi i poslovanje

Mobilne igre porasle 45% u pandemiji, Playrix 3. najuspješnija mobile gaming tvrtka na svijetu

Game dev tvrtka Playrix, čiji je dio i naš Playrix Croatia, nastavlja s rastom i razvojem u području mobilnih igara.

Kultura 2.0

Želite investirati u dionice i kriptovalute zbog neke objave na društvenim mrežama? Zapamtite ove 3 lekcije!

Početak 2021. godine i aktualni kripto ringišpil nas je još jedanput podsjetio kako društvene mreže nisu dobar savjetnik za ulaganje.