Kako postati data engineer? Od PMF-a do industrije - ovo je moj karijerni put

Kako postati podatkovni inženjer? Od PMF-a do industrije – ovo je moj karijerni put

Put do podatkovnog inženjera zahtijeva mnogo truda, vremena i konkretna znanja. Ali i sam sam prvo učio da bih kasnije druge podučavao. Što se na tržištu traži i što vas može zateći na putu?

Podaci su pokretač nove industrijske revolucije, kao takvi predstavljaju jedinstveni resurs koji stručnom obradom omogućuje pametnije i efikasnije poslovanje. Posljedicom toga pokazala se i potreba za specijaliziranim stručnjacima na novim područjima kao što su podatkovno inženjerstvo i podatkovna znanost, što možemo vidjeti i jednostavnim uvidom u Google Trends podatke.

Grafički prikaz interesa u periodu od 2010. do 2020. za Data Engineer i Data Scientist termine.

Međutim, za sazrijevanje podatkovnog inženjera osim znanja potrebno je puno energije, motivacije i vremena.

Za početak, važno je imati akademsku razinu znanja iz prirodnih i tehničkih znanosti te se nakon toga preporučuje radno iskustvo u ICT industriji i konstantno nadopunjavanje i usavršavanje svojeg seta vještina i znanja u željenom smjeru, što uključuje edukacije i razmjene znanja kroz brojne i zahtjevne projekte.

Što zapravo radi podatkovni inženjer?

Podatkovni inženjer i podatkovni znanstvenik uz Solution Architecta najčešće formiraju tim čiji je zadatak izrada konačnog podatkovnog rješenja. Podatkovno inženjerstvo tako obuhvaća obradu (dohvat, čišćenje i transformaciju) podataka i izgradnju podatkovnih cjevovoda (tzv. Data pipeline) za automatizaciju procesa obrade podataka. Podaci su zatim spremni za korištenje strojnog učenja (tzv. machine learning) ili drugog algoritma iz matematičkog arsenala koji podatkovni znanstvenik onda koristi za izradu napredne analitike.

Podatkovni inženjer proširuje i unaprjeđuje set vještina koje posjeduje ETL developer. ETL developer koristi već poznate alate u kontroliranim okolinama gdje se koriste strukturirani izvori podataka, dok podatkovni inženjer više podsjeća na softver developera koristeći različite programske jezike, radi sa strukturiranim, polustrukturiranim i nestrukturiranim izvorima podataka što mu omogućuje više fleksibilnosti.

Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Kao što rafinerija nafte procesiranjem sirove nafte izdvaja derivate koji se kasnije koriste kao izvor energije u različite svrhe, tako i podatkovni inženjer igra centralnu ulogu u dobivanju vrijednosti iz podataka. Prilikom kreiranja automatskih financijskih izvještaja bilo za menadžment ili možda dioničare, prvo što je potrebno je skupiti i procesirati podatke kako bi bili spremni za novu svrhu.

Nema dobre analize bez dobro uređenih podataka

Prvi korak kod optimiziranja prodaje i nabave je objediniti sve potrebne podatke i procesirati ih. Pametne aplikacije u pozadini također rade s velikom količinom podataka te i ovdje bitnu ulogu igra podatkovni inženjer, jer skladišti i procesira podatke kako bi ih kasnije mogli koristiti u naprednoj analizi korištenja aplikacije. Ukratko, svaki proces automatizacije i optimizacije uključuje podatke podatkovnog inženjera.

Također je važno poznavanje distribuiranih sustava, jer danas često postoji potreba za upošljavanjem dodatnih tehnologija “otvorenog koda”, koje pospješuju obradu velike količine podataka tzv. Big Data. Uz sve navedeno podatkovni inženjer mora izvrsno poznavati sustave pohrane podataka Data Warehouses i Data Lakes te raspolagati strojnim učenjem i Linux sistemima.

Uz znatan porast migracija IT infrastrukture na platforme u oblaku, vrlo lako uviđamo zbog čega je upravo veća fleksibilnost tako veliki plus, što rezultira još i većom potrebom za konceptima i znanjima podatkovnog inženjerstva.

A pod utjecajem svega toga krenuo je i moj put

Od znanstvenika fizičara do podatkovnog znanstvenika

Ljubav prema obradi podataka i programiranju rodila se još tijekom znanstvenog studija fizike na Prirodoslovno-matematičkom fakultetu Sveučilišta u Zagrebu. Na mom putu da postanem podatkovni inženjer bilo je puno izazova, a najveći je odluka da se nakon znanstvenog orijentiranog studija fizike odlučim baviti isključivo podacima i analizama podataka te opredijelim svoju karijeru graditi u ICT industriji.

Osim na PMF-u, surađivao sam na projektima Rudarsko-geološkog-naftnog fakulteta (RGNF-a), gdje sam programirao neuronsku mrežu koja predviđa optimalne parametre miniranja prema lokacijama na terenu. Prilikom izrade sam se susreo s velikom količinom podataka koja je zahtijevala specifičan način obrade. Kroz projekt sam sve više upoznavao i učio nove tehnologije, a posebno me fascinirala potreba za specifičnim analizama setova podataka i njihova specifična priprema za same analize.

Posljedično sam zagrebao Big data područje.

Na diplomskom radu pod temom međudjelujućih kompleksnih mreža, gdje sam se dodatno upoznao s novim programskim jezicima, napokon sam čvrsto odlučio da se želim baviti Big data tehnologijama. Moj potencijal, želju za radom i znanjem prepoznali su u Poslovnoj inteligenciji, gdje sam se upoznao s novim i inovativnim poslovnim područjima ICT industrije. Tehnički direktor Nikola Kljajo prepoznao je moj trud i inicijativu te je maksimalno podržao moj daljnji razvoj kao podatkovnog inženjera.

Najuži tim DE&DS tima čine: Data scientist Ana-Marija Petric, Solution architect Petar Pejaković i ja kao Data engineer.

Učenik koji je postao učitelj

Uz svakodnevni rad, nakon radnog vremena bih pohađao sve tečajeve koji pružaju potrebna znanja za bavljenje Big Data tehnologijama, osobito podatkovnim inženjerstvom i strojnim učenjem. Svoje znanje i sposobnosti sam dalje utvrđivao i proširivao sa svojim Data Engineering i Data Science (DE&DS) timom kroz projekte.

Upravo zbog toga, a i sve većeg rasta tržišta, imao sam veliku želju prenijeti znanje kolegama te sam osmislio program radionica kojeg smo nazvali “Data Engineering Školica”. Nedavno smo tako započeli s programom radionica gdje koristimo programske jezike i tehnologije u praktičnim primjerima.

Iako je prvotno održavanje planirano u prostorima Poslovne Inteligencije, zbog novonastale situacije sa svjetskom pandemijom, cijeli program smo odlučili nastaviti online, što je odlično prihvaćeno i pokazalo se kao dobra odluka.

Direktori i kolege su prepoznali potencijal te su podržali ideju i želju za jačanjem podatkovnih vještina svih zainteresiranih. Školica se održava jednom tjedno nakon radnog vremena u trajanju od dva do tri sata, a snimka radionice i pripadajući zadaci za vježbu su dostupni zaposlenicima online.

Podatkovna znanost ulazi na velika vrata

Misija Data Engineeringa je omogućivanje razvijanja dodatnih poslovnih prilika iz raznolikih izvora podataka, a kompanije kao što su Google, Netflix i Facebook su među prvima to prepoznale. Pokrenuli su značajne inovacije na području obrade podataka što se odrazilo na porast potrebe za stručnim ljudima u tom području. Upravo te i brojne druge inovacije dolaze ili su već došle u Hrvatsku.

Prema već spomenutoj slici iz Google Trendsa možemo predvidjeti porast potražnje za znanjima podatkovnog inženjera u Hrvatskoj. Realnost je da ćemo i u Hrvatskoj svjedočiti sve većem broju kompanija koje će svoj poslovni model temeljiti na podacima i naprednoj analitici.

Tako smo i u Poslovnoj inteligenciji pratili potrebe na tržištu i odgovorili na taj izazov te smo podržali razvoj poslovnih modela koji se temelje na podacima i naprednoj analitici. Naši su klijenti to već prepoznali i odlučili iskoristiti fleksibilnost što im je omogućilo performansni i poslovni benefit, kao što je optimizacija poslovnih procesa, povećanje profita, povećanje zadovoljstva klijenata i zaposlenika. Upravo zbog toga smo i okupili tim stručnjaka s iskustvom u ovom području.

Također, ovo daje priliku zaposlenicima Poslovne Inteligencije da se susretnu s najnovijim izazovima u području Big Data te najnovijim otkrićima i primjenama u području strojnog učenja. Kroz program radionica i praktičan rad s našim klijentima poduzeli smo male korake koji čvrsto koračaju prema velikom cilju.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Digitalni marketing

Gdje griješimo u zapošljavanju generacije Z?

Zbog toga što je odrasla u posve novim okolnostima modernog društva, kao i u mnogo slučajeva dosad - stariji naraštaji sve slabije razumiju novu generaciju. Kako pristupiti "genzijevcima"?

Digitalni marketing

Je li Google Analytics ilegalan? Jest, ako se pogrešno implementira!

Je li korištenje Google Analyticsa (i svih drugih digitalnih servisa koji podatke spremaju u SAD) preko noći postalo ilegalno objašnjavaju stručnjak za digitalnu analitiku Robert Petković i pravnica Ana Bačić.

Intervju

Tena Turčinović preuzima poziciju Marketing Managera u Wolt Hrvatska

Tena Turčinović, donedavno Client Partner Manager u Httpoolu Hrvatska, od početka 2022. preuzima marketing Wolta u Hrvatskoj.

Što ste propustili

Intervju

Što na internetu radi i voli: Vuk Vuković

Ekonomist i poduzetnik čija tvrtka se bavi politčkim i tržišnim predviđanjima otkrio nam je sve o svojim online navikama - omiljena javna osoba koju prati je Nassim Taleb (koji i prati njega!), obožava memeove, skoro je kupio Dogecoin zbog Elona Muska, želi više followera na Twitteru, na Instagramu ima gastro profil cookwithvuk!

Društvene mreže

Kronike LinkedIna: “Poslovna mreža” koja je postala odlagalište objava za samohvalu i šuplje inspiracije

Što je sve LinkedIn postao, a nije trebao? Iliti kako smo pretvorili jedinu poslovnu društvenu mrežu u novi Facebook...

Digitalni marketing

Oglasio se Google: “Analytics nije ilegalan, ali neka EU i SAD što prije dogovore pravila”

Sporna mogućnost da digitalni servisi američkim tajnim službama moraju otkriti osobne podatke građana EU, zbog koje navodno krše GDPR, tek je teoretska i Google u 15 godina, koliko nudi Analytics, nije primio niti jedan takav zahtjev - tvrdi njihov glavni pravnik Kent Walker.

Digitalni marketing

Željka Košanski postaje Head of People Operations za Mediatoolkit i Bornfight

U 2022. godini Željka će pomoći u zapošljavanju 80 kolega u obje kompanije što je rast od 50% u Bornfightu, i čak 80% u Mediatoolkitu.

Analiza

Je li moguće? Hrvatski developeri zadovoljni su selekcijskim procesima, daju im ocjenu 7,6

Prijatelji, poznanici i kolege developerima su najčešći izvor informacija o otvorenim pozicijama i uvjetima rada u drugim tvrtkama. Juniori posao traže i na društvenim mrežama, a midovi gledaju i portale za zapošljavanje. U oglasu bi trebala biti navedena plaća, a na intervjuu budući šef.

Istraživanje

Za povećanu online kupnju u 2021. najviše su zaslužni – pripadnici “Boomer” generacije!

Mogli smo očekivati kako će online kupnja rasti, ali koja kategorija proizvoda bilježi najveću kupnju, kolika je prosječna vrijednost kupnje i koje generacije dominiraju u online shoppingu?