Kako postati data engineer? Od PMF-a do industrije - ovo je moj karijerni put

Kako postati podatkovni inženjer? Od PMF-a do industrije – ovo je moj karijerni put

Put do podatkovnog inženjera zahtijeva mnogo truda, vremena i konkretna znanja. Ali i sam sam prvo učio da bih kasnije druge podučavao. Što se na tržištu traži i što vas može zateći na putu?

Podaci su pokretač nove industrijske revolucije, kao takvi predstavljaju jedinstveni resurs koji stručnom obradom omogućuje pametnije i efikasnije poslovanje. Posljedicom toga pokazala se i potreba za specijaliziranim stručnjacima na novim područjima kao što su podatkovno inženjerstvo i podatkovna znanost, što možemo vidjeti i jednostavnim uvidom u Google Trends podatke.

Grafički prikaz interesa u periodu od 2010. do 2020. za Data Engineer i Data Scientist termine.

Međutim, za sazrijevanje podatkovnog inženjera osim znanja potrebno je puno energije, motivacije i vremena.

Za početak, važno je imati akademsku razinu znanja iz prirodnih i tehničkih znanosti te se nakon toga preporučuje radno iskustvo u ICT industriji i konstantno nadopunjavanje i usavršavanje svojeg seta vještina i znanja u željenom smjeru, što uključuje edukacije i razmjene znanja kroz brojne i zahtjevne projekte.

Što zapravo radi podatkovni inženjer?

Podatkovni inženjer i podatkovni znanstvenik uz Solution Architecta najčešće formiraju tim čiji je zadatak izrada konačnog podatkovnog rješenja. Podatkovno inženjerstvo tako obuhvaća obradu (dohvat, čišćenje i transformaciju) podataka i izgradnju podatkovnih cjevovoda (tzv. Data pipeline) za automatizaciju procesa obrade podataka. Podaci su zatim spremni za korištenje strojnog učenja (tzv. machine learning) ili drugog algoritma iz matematičkog arsenala koji podatkovni znanstvenik onda koristi za izradu napredne analitike.

Podatkovni inženjer proširuje i unaprjeđuje set vještina koje posjeduje ETL developer. ETL developer koristi već poznate alate u kontroliranim okolinama gdje se koriste strukturirani izvori podataka, dok podatkovni inženjer više podsjeća na softver developera koristeći različite programske jezike, radi sa strukturiranim, polustrukturiranim i nestrukturiranim izvorima podataka što mu omogućuje više fleksibilnosti.

Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Kao što rafinerija nafte procesiranjem sirove nafte izdvaja derivate koji se kasnije koriste kao izvor energije u različite svrhe, tako i podatkovni inženjer igra centralnu ulogu u dobivanju vrijednosti iz podataka. Prilikom kreiranja automatskih financijskih izvještaja bilo za menadžment ili možda dioničare, prvo što je potrebno je skupiti i procesirati podatke kako bi bili spremni za novu svrhu.

Nema dobre analize bez dobro uređenih podataka

Prvi korak kod optimiziranja prodaje i nabave je objediniti sve potrebne podatke i procesirati ih. Pametne aplikacije u pozadini također rade s velikom količinom podataka te i ovdje bitnu ulogu igra podatkovni inženjer, jer skladišti i procesira podatke kako bi ih kasnije mogli koristiti u naprednoj analizi korištenja aplikacije. Ukratko, svaki proces automatizacije i optimizacije uključuje podatke podatkovnog inženjera.

Također je važno poznavanje distribuiranih sustava, jer danas često postoji potreba za upošljavanjem dodatnih tehnologija “otvorenog koda”, koje pospješuju obradu velike količine podataka tzv. Big Data. Uz sve navedeno podatkovni inženjer mora izvrsno poznavati sustave pohrane podataka Data Warehouses i Data Lakes te raspolagati strojnim učenjem i Linux sistemima.

Uz znatan porast migracija IT infrastrukture na platforme u oblaku, vrlo lako uviđamo zbog čega je upravo veća fleksibilnost tako veliki plus, što rezultira još i većom potrebom za konceptima i znanjima podatkovnog inženjerstva.

A pod utjecajem svega toga krenuo je i moj put

Od znanstvenika fizičara do podatkovnog znanstvenika

Ljubav prema obradi podataka i programiranju rodila se još tijekom znanstvenog studija fizike na Prirodoslovno-matematičkom fakultetu Sveučilišta u Zagrebu. Na mom putu da postanem podatkovni inženjer bilo je puno izazova, a najveći je odluka da se nakon znanstvenog orijentiranog studija fizike odlučim baviti isključivo podacima i analizama podataka te opredijelim svoju karijeru graditi u ICT industriji.

Osim na PMF-u, surađivao sam na projektima Rudarsko-geološkog-naftnog fakulteta (RGNF-a), gdje sam programirao neuronsku mrežu koja predviđa optimalne parametre miniranja prema lokacijama na terenu. Prilikom izrade sam se susreo s velikom količinom podataka koja je zahtijevala specifičan način obrade. Kroz projekt sam sve više upoznavao i učio nove tehnologije, a posebno me fascinirala potreba za specifičnim analizama setova podataka i njihova specifična priprema za same analize.

Posljedično sam zagrebao Big data područje.

Na diplomskom radu pod temom međudjelujućih kompleksnih mreža, gdje sam se dodatno upoznao s novim programskim jezicima, napokon sam čvrsto odlučio da se želim baviti Big data tehnologijama. Moj potencijal, želju za radom i znanjem prepoznali su u Poslovnoj inteligenciji, gdje sam se upoznao s novim i inovativnim poslovnim područjima ICT industrije. Tehnički direktor Nikola Kljajo prepoznao je moj trud i inicijativu te je maksimalno podržao moj daljnji razvoj kao podatkovnog inženjera.

Najuži tim DE&DS tima čine: Data scientist Ana-Marija Petric, Solution architect Petar Pejaković i ja kao Data engineer.

Učenik koji je postao učitelj

Uz svakodnevni rad, nakon radnog vremena bih pohađao sve tečajeve koji pružaju potrebna znanja za bavljenje Big Data tehnologijama, osobito podatkovnim inženjerstvom i strojnim učenjem. Svoje znanje i sposobnosti sam dalje utvrđivao i proširivao sa svojim Data Engineering i Data Science (DE&DS) timom kroz projekte.

Upravo zbog toga, a i sve većeg rasta tržišta, imao sam veliku želju prenijeti znanje kolegama te sam osmislio program radionica kojeg smo nazvali “Data Engineering Školica”. Nedavno smo tako započeli s programom radionica gdje koristimo programske jezike i tehnologije u praktičnim primjerima.

Iako je prvotno održavanje planirano u prostorima Poslovne Inteligencije, zbog novonastale situacije sa svjetskom pandemijom, cijeli program smo odlučili nastaviti online, što je odlično prihvaćeno i pokazalo se kao dobra odluka.

Direktori i kolege su prepoznali potencijal te su podržali ideju i želju za jačanjem podatkovnih vještina svih zainteresiranih. Školica se održava jednom tjedno nakon radnog vremena u trajanju od dva do tri sata, a snimka radionice i pripadajući zadaci za vježbu su dostupni zaposlenicima online.

Podatkovna znanost ulazi na velika vrata

Misija Data Engineeringa je omogućivanje razvijanja dodatnih poslovnih prilika iz raznolikih izvora podataka, a kompanije kao što su Google, Netflix i Facebook su među prvima to prepoznale. Pokrenuli su značajne inovacije na području obrade podataka što se odrazilo na porast potrebe za stručnim ljudima u tom području. Upravo te i brojne druge inovacije dolaze ili su već došle u Hrvatsku.

Prema već spomenutoj slici iz Google Trendsa možemo predvidjeti porast potražnje za znanjima podatkovnog inženjera u Hrvatskoj. Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Tako smo i u Poslovnoj inteligenciji pratili potrebe na tržištu i odgovorili na taj izazov te smo podržali razvoj poslovnih modela koji se temelje na podacima i naprednoj analitici. Naši su klijenti to već prepoznali i odlučili iskoristiti fleksibilnost što im je omogućilo performansni i poslovni benefit, kao što je optimizacija poslovnih procesa, povećanje profita, povećanje zadovoljstva klijenata i zaposlenika. Upravo zbog toga smo i okupili tim stručnjaka s iskustvom u ovom području.

Također, ovo daje priliku zaposlenicima Poslovne Inteligencije da se susretnu s najnovijim izazovima u području Big Data te najnovijim otkrićima i primjenama u području strojnog učenja. Kroz program radionica i praktičan rad s našim klijentima poduzeli smo male korake koji čvrsto koračaju prema velikom cilju.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Digitalni marketing

Digitalna industrija je u ku*cu, ali Social Dilemma je jeftina Skynet drama koja to ne zna reći

Social Dilemma nije više #1 izbor na Netflixu, a mnogi su već dali svoje mišljenje neovisno o tome jesu ga gledali. Ovo je kritički osvrt na odlično vizualno ostvarenje dokumentarca koji otvara mnoga pitanja, ali i isceniranu dramu o zlim društvenim mrežama koja daje malo odgovora - često površnih.

Startupi i poslovanje

Mate Rimac transparentno o financijama, svojoj plaći, kampusu i uključivanju radnika kao suvlasnika Rimac Automobila

U izuzetno dobrodošlom primjeru transparentnosti koji rijetko viđamo u svjetskoj, a kamoli hrvatskoj tehnološkoj industriji, Mate Rimac je na YouTubeu objavio sat vremena dug pregled izvještaja Rimac Automobila za treći kvartal 2020. Izdvajamo neke od zanimljivijih informacija.

Startupi i poslovanje

Borealis: Kako je programer Dennis Puzak startup “fail” pretvorio u uspješnu agenciju za digitalne proizvode

Dennis je počeo kao programer i teško zarađene novce uložio u startup - koji nije uspio. No naučeno iskustvo u samo je nekoliko godina pretvorio u agenciju za digitalne proizvode koje želi zadržati malom i izuzetno kvalitetnom.

Što ste propustili

Tehnologija

Ako želimo AI industriju, prvo moramo izgraditi zajednicu

Ciklus razvoja AI proizvoda je poprilično drugačiji od drugih vrsta softverskih proizvoda, a ako želimo da se Hrvatska ucrta na AI mapu svijeta, morat ćemo poraditi na dijeljenju znanja i iskustava među našim stručnjacima i tvrtkama.

Kultura 2.0

Kako je digitalna industrija došla do “Spavat ću kad umrem” stava i što možemo učiniti da to promijenimo

Želimo li u brzopromjenjivoj industriji poput digitalne ostvariti sve što smo zamislili - dan se čini prekratak. Jesu li neprospavane noći investicija ili trošak koji dolazi na naplatu? Možda oboje, a možda možemo bolje...

Startupi i poslovanje

Postaju li IT inženjeri digitalni “prepperi”?

Digitalna tvrtka koja se bavi pružanjem usluge o kojoj ovisi svakodnevica korisnika mora biti dostupna u svim situacijama. Kao IT inženjeri jednostavno morate očekivati - neočekivano. 2020. nije ništa značajno promijenila - samo nam je to još više potvrdila.

Kultura 2.0

4 koraka koja će vas sigurno pripremiti za Black Friday i Cyber Monday!

Prije par godina još se i moglo dogoditi da neke web trgovine potpuno ignoriraju Black Friday, ali ne i u 2020. Puno je izbora, a vremena su neizvjesna - kako pronaći najbolje ponude? Ovi savjeti mogli bi vam poslužiti.

Startupi i poslovanje

Kriza medicinskog kanabisa splitsku tvrtku Agilno pripremila za healthtech boom 2020.

Tržište medicinskog kanabisa prošle je godine doživjelo velike probleme, a što je uvelike utjecalo na glavni projekt splitske tvrtke Agilno - Strainprint aplikaciju. Kako su poučeni tim iskustvom pivotirali u smjer healthtecha?

Kultura 2.0

Sigurnije ne znači lošije – iskustvo, što dvostruka autentifikacija donosi za kupce i trgovce?

Do kraja godine u svim zemljama EU počet će primjena regulative koja će naše digitalne transakcije osigurati s dvostrukom autentifikacijom. Postoje vrlo dobri razlozi zašto zbog toga ne bismo trebali gunđati, već biti sretni i zadovoljni.