Big Data: Veliki izazovi, velike prilike, a možda i veliki 'buzzword'

Big Data: Veliki izazovi, velike prilike, a možda i veliki ‘buzzword’

Ako ičega ne nedostaje u našoj, IT, industriji, onda su to buzzwordi (svjestan sam ironije da je i buzzword, u biti, buzzword). Bili su to i Web 2.0, Cloud, Social Media – danas je to Big Data. Zadnjih desetak mjeseci, a intenzivno u zadnja tri mjeseca, pozornost mi privlači taj pojam, koji, pojednostavljeno govoreći, opisuje ogromne količine strukturiranih ili nestrukturiranih podataka s kojima je vrlo teško ili praktično nemoguće raditi korištenjem standardnih alata ili relacijskih baza podataka.

Ilustracija preuzeta s covaligroup.com.
Ilustracija preuzeta s covaligroup.com.

Ako ičega ne nedostaje u našoj, IT, industriji, onda su to buzzwordi (svjestan sam ironije da je i buzzword, u biti, buzzword). Bili su to i Web 2.0, Cloud, Social Media – danas je to Big Data. Zadnjih desetak mjeseci, a intenzivno u zadnja tri mjeseca, pozornost mi privlači taj pojam, koji, pojednostavljeno govoreći, opisuje ogromne količine strukturiranih ili nestrukturiranih podataka s kojima je vrlo teško ili praktično nemoguće raditi korištenjem standardnih alata ili relacijskih baza podataka. Sada su igri neki novi “klinci”, poput Hadoopa.

Istovremeno, dojam autora ovog teksta je da je Big Data u biti, barem do značajne mjere, do-it-yourself superračunarstvo i računarstvo visokih performansi (HPC).

Big Data karakteristike

Koliko veliko je, zapravo, veliko? Veličina, odnosno, volumen podataka samo je jedna od tri mjere i karakteristike. Ostale su raznolikost i brzina. Često se to naziva V3 – volume, velocity i variety.

Volumen podataka je vjerojatno prva asocijacija uz pojmove big i data. Godine 2000. u svijetu je bilo pohranjeno 800.000 petabajta podataka. Danas samo Twitter dnevno generira oko 7 terabajta, a Facebook oko 10 terabajta podataka. Ukratko, Big Data karakterizira drastičan volumen/količinu podataka – pričamo o zettabajtima podataka, milijardama terabajta.

Druga karakteristika je raznolikost. Današnji podaci često dolaze i u oblicima koji nisu uvijek “uredni” i strukturirani na način na koji smo navikli u našim ranijim SQL-olikim svjetovima. Realnost je da su danas podaci neuredni i često vrlo nestrukturirani. Pogledajte JSON jednog tvita, a onda JSON tog istog tvita ako korisnik u njemu dijeli fotografiju ili geolokaciju… Facebook statusi pričaju sličnu priču, a načelno se društvene mreže oslanjaju na grafove kao tip podataka. Različiti internetski preglednici komuniciraju na različite načine s poslužiteljima i generiraju različite tipove podataka. Nikada nismo bili dalje od jednog jedinstvenog formata za pohranu podataka – i to je dobro. Izazovi su danas prebačeni u jednu drugu dimenziju.

Konačno, treća je karakteristika brzina. Dok smo ranije podatke učestalo obrađivali tako da smo uzeli batch podataka i na njima vršili niz operacija, danas imamo golemu količinu podataka koja stiže u realnom vremenu. Doslovno možemo govoriti o streamingu podataka. Prošle smo godine za potrebe Sveučilišta u Denveru postavili Wall of Tweets i našu pozadinsku analitiku – tijekom trajanja debate između Obame i Romneya poslano je više od 10,3 milijuna tvitova vezanih uz debatu (i famoznu Big Bird iz Ulice Sezam). To je ogromna količina podatka za prosječno razumijevanje. Međutim, u globalnim razmjerima, radi se o malom volumenu, ali je njegova složenost u tome što je stigao u izuzetno kratkom vremenu i predstavljao nemali napor za naš tadašnji improvizirani sustav.

Najveći izazov

Big Data ima nesumnjivo veliki potencijal i stvara velike prilike – kako za postojeće igrače na tržištu, tako i za neke nove izazivače. Međutim, ključni izazov je jasan: Trebamo rješenja koja će nam omogućiti da iz velike količine podataka dobijemo vrijedne informacije. Stotine tisuća agronomskih i meteoroloških senzora, RFID komunikacija, milijuni transakcija na internetskim trgovinama – svi generiraju golemu količinu podataka. No, bez dobivanja jasnih uvida, nećemo doći do korisnih informacija. Sljedeća velika stvar nakon Big Data je poznata – Big Insight. I to je novo područje u kojem će se voditi najveće podatkovne bitke u nadolazećem razdoblju. Cijena pohrane podataka, računalne memorije, CPU-a i samog hardvera drastično opada. Uz pomoć Hadoopa danas je moguće imati pravi DIY supercomputing setup na sasvim običnom hardveru, ali i dalje smo suočeni s istim izazovom: Kako od podataka doći do informacija, i to na brz i pouzdan način?

Tko na to pitanje uspješno odgovori, možda u rukama drži ključeve iduće računalne revolucije. A možda ćemo imati samo još jedan buzzword. Vrijeme će pokazati.

Napomena: Vibor uskoro drži predavanje na temu “UX and big data: love at first (in)sight”. Poslušati ga možete u sklopu konferencije The Geek Gathering, koja se od petka, 11. listopada, održava u Osijeku.

ponuda

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Analiza

Telekom Bankarstvo: Zabi prosječna bankarska aplikacija, HT-u dodatan izvor prihoda

Telekom bankarstvo Hrvatskog telekoma i Zagrebačke banke ne pruža kvalitetnije korisničko iskustvo ni od hrvatskih konkurenata ni od Revoluta, ali najavljuje agresivnu marketinšku kampanju kakvu prosječna banka ne bi pokrenula.

Startupi i poslovanje

Ne uništavaju paušalni obrti IT industriju, već ogromna davanja na plaće

O problematici paušalnih obrta u IT industriji već se dugo govori tiho, a od ovog vikenda i glasno. No čini se da dobar dio rasprave, koja je buknula preko vikenda, ali i budućih poreznih promjena, koje nas očekuju iduće godine, idu u krivom smjeru - prema jačem oporezovanju samostalnog rada, a ne rasterećenju nesamostalnog, odnosno plaća.

Startupi i poslovanje

Dati otkaz zaposleniku u mješovitoj stvarnosti dobar je PR, ali XR doista pomaže razvoju mekih vještina

Zamislite dan kad svojim zaposlenicima nećete plaćati tečajeve već će te ih poslati u susjednu sobu da prođu simulaciju - taj dan mogao bi biti veoma blizu, a evo i što od njega očekivati.

Što ste propustili

Internet marketing

Kovačević, Vrdoljak, Ackermann i Brkan na WMF-u otkrivaju zadnjih 10 godina digitalnog marketinga

Kako je izgledao digitalni sektor prije deset godina i kako se u njemu dan danas snalaze neki od najpoznatijih digitalaca saznat ćemo ove subote na Weekend Media Festivalu.

Startupi i poslovanje

Hubbig Dragane Lipovac kreće u nove pobjede s milijunskom investicijom i novom savjetnicom

Bili vi mali ili veliki uvoznik, naručivali iz Kine ili SAD-a, Hubbig vam može olakšati život, a da to ovom mladom startupu ide dobro potvrdila je i nedavna milijunska investicija koju je orkestrirala Monika Mikac, bivša operativna direktorica u Rimac Automobilima.

Startupi i poslovanje

Paušalci, prikriveni rad opet nije dobro definiran u Općem poreznom zakonu, uključite se u e-Savjetovanje!

Prema trenutnom prijedlogu izmjena Općeg poreznog zakona, koji bi trebao stupiti na snagu 1. 1. 2020., i dalje nije dovoljno jasno definirana razlika između samostalnog i nesamostalnog rada, što bi se moglo obiti o glavu paušalnim obrtnicima i tvrtkama koje ih angažiraju.

Intervju

Tko to zna sa softverom, dobro zarađuje i utječe na velike sustave? IT Konzultant!

Kao što mnogi bježe od matematike i STEM-ovci nerijetko bježe od "mekih vještina", no upravo se u tom spoju kriju odlične karijerne opcije. Kako ispolirati te vještine učimo od FER-ovca, dugogodišnjeg konzultanta i danas direktora, mStartovog Emina Subašića.

Tehnologija

Programeri u prosjeku zarađuju 10.000 kuna, najbolje su plaćeni iOS developeri

Stigli su nam novi rezultati ankete Tomislava Grubišića o plaćama developera u Hrvatskoj za 2019. godinu, donosimo pregled najzanimljivijih podataka na osnovu tehnologija i godina iskustva.

Startupi i poslovanje

Ne uništavaju paušalni obrti IT industriju, već ogromna davanja na plaće

O problematici paušalnih obrta u IT industriji već se dugo govori tiho, a od ovog vikenda i glasno. No čini se da dobar dio rasprave, koja je buknula preko vikenda, ali i budućih poreznih promjena, koje nas očekuju iduće godine, idu u krivom smjeru - prema jačem oporezovanju samostalnog rada, a ne rasterećenju nesamostalnog, odnosno plaća.