Big Data: Veliki izazovi, velike prilike, a možda i veliki 'buzzword'

Infobip ❤️ Netokracijašto akvizicija znači za vas - i nas?

Big Data: Veliki izazovi, velike prilike, a možda i veliki ‘buzzword’

Ako ičega ne nedostaje u našoj, IT, industriji, onda su to buzzwordi (svjestan sam ironije da je i buzzword, u biti, buzzword). Bili su to i Web 2.0, Cloud, Social Media – danas je to Big Data. Zadnjih desetak mjeseci, a intenzivno u zadnja tri mjeseca, pozornost mi privlači taj pojam, koji, pojednostavljeno govoreći, opisuje ogromne količine strukturiranih ili nestrukturiranih podataka s kojima je vrlo teško ili praktično nemoguće raditi korištenjem standardnih alata ili relacijskih baza podataka.

Ilustracija preuzeta s covaligroup.com.
Ilustracija preuzeta s covaligroup.com.

Ako ičega ne nedostaje u našoj, IT, industriji, onda su to buzzwordi (svjestan sam ironije da je i buzzword, u biti, buzzword). Bili su to i Web 2.0, Cloud, Social Media – danas je to Big Data. Zadnjih desetak mjeseci, a intenzivno u zadnja tri mjeseca, pozornost mi privlači taj pojam, koji, pojednostavljeno govoreći, opisuje ogromne količine strukturiranih ili nestrukturiranih podataka s kojima je vrlo teško ili praktično nemoguće raditi korištenjem standardnih alata ili relacijskih baza podataka. Sada su igri neki novi “klinci”, poput Hadoopa.

Istovremeno, dojam autora ovog teksta je da je Big Data u biti, barem do značajne mjere, do-it-yourself superračunarstvo i računarstvo visokih performansi (HPC).

Big Data karakteristike

Koliko veliko je, zapravo, veliko? Veličina, odnosno, volumen podataka samo je jedna od tri mjere i karakteristike. Ostale su raznolikost i brzina. Često se to naziva V3 – volume, velocity i variety.

Volumen podataka je vjerojatno prva asocijacija uz pojmove big i data. Godine 2000. u svijetu je bilo pohranjeno 800.000 petabajta podataka. Danas samo Twitter dnevno generira oko 7 terabajta, a Facebook oko 10 terabajta podataka. Ukratko, Big Data karakterizira drastičan volumen/količinu podataka – pričamo o zettabajtima podataka, milijardama terabajta.

Druga karakteristika je raznolikost. Današnji podaci često dolaze i u oblicima koji nisu uvijek “uredni” i strukturirani na način na koji smo navikli u našim ranijim SQL-olikim svjetovima. Realnost je da su danas podaci neuredni i često vrlo nestrukturirani. Pogledajte JSON jednog tvita, a onda JSON tog istog tvita ako korisnik u njemu dijeli fotografiju ili geolokaciju… Facebook statusi pričaju sličnu priču, a načelno se društvene mreže oslanjaju na grafove kao tip podataka. Različiti internetski preglednici komuniciraju na različite načine s poslužiteljima i generiraju različite tipove podataka. Nikada nismo bili dalje od jednog jedinstvenog formata za pohranu podataka – i to je dobro. Izazovi su danas prebačeni u jednu drugu dimenziju.

Konačno, treća je karakteristika brzina. Dok smo ranije podatke učestalo obrađivali tako da smo uzeli batch podataka i na njima vršili niz operacija, danas imamo golemu količinu podataka koja stiže u realnom vremenu. Doslovno možemo govoriti o streamingu podataka. Prošle smo godine za potrebe Sveučilišta u Denveru postavili Wall of Tweets i našu pozadinsku analitiku – tijekom trajanja debate između Obame i Romneya poslano je više od 10,3 milijuna tvitova vezanih uz debatu (i famoznu Big Bird iz Ulice Sezam). To je ogromna količina podatka za prosječno razumijevanje. Međutim, u globalnim razmjerima, radi se o malom volumenu, ali je njegova složenost u tome što je stigao u izuzetno kratkom vremenu i predstavljao nemali napor za naš tadašnji improvizirani sustav.

Najveći izazov

Big Data ima nesumnjivo veliki potencijal i stvara velike prilike – kako za postojeće igrače na tržištu, tako i za neke nove izazivače. Međutim, ključni izazov je jasan: Trebamo rješenja koja će nam omogućiti da iz velike količine podataka dobijemo vrijedne informacije. Stotine tisuća agronomskih i meteoroloških senzora, RFID komunikacija, milijuni transakcija na internetskim trgovinama – svi generiraju golemu količinu podataka. No, bez dobivanja jasnih uvida, nećemo doći do korisnih informacija. Sljedeća velika stvar nakon Big Data je poznata – Big Insight. I to je novo područje u kojem će se voditi najveće podatkovne bitke u nadolazećem razdoblju. Cijena pohrane podataka, računalne memorije, CPU-a i samog hardvera drastično opada. Uz pomoć Hadoopa danas je moguće imati pravi DIY supercomputing setup na sasvim običnom hardveru, ali i dalje smo suočeni s istim izazovom: Kako od podataka doći do informacija, i to na brz i pouzdan način?

Tko na to pitanje uspješno odgovori, možda u rukama drži ključeve iduće računalne revolucije. A možda ćemo imati samo još jedan buzzword. Vrijeme će pokazati.

Napomena: Vibor uskoro drži predavanje na temu “UX and big data: love at first (in)sight”. Poslušati ga možete u sklopu konferencije The Geek Gathering, koja se od petka, 11. listopada, održava u Osijeku.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Intervju

Upoznajte Maria Ćendu, voditelja tima zaduženog za ICT sustav Disneyjevog kruzera kojim plovi 5500 ljudi

Pod utjecajem primorskog podneblja, u bespućima interneta, Mario Ćendo pronašao je zanimanje koje spaja za njega idealno: IT i pomorstvo. Od tada, više od 10 godina plovi i rješava tehnološke zavrzlame kruzera koji mogu smjestiti i po par tisuća ljudi. Prije nego je isplovio na još jednu 10 tjedana dugu rutu, s nama je podijelio detalje ovog nesvakidašnjeg posla.

Startupi i poslovanje

Počelo je dvojno iskazivanje cijena! Što to znači za internetske trgovine?

Od danas sve internetske trgovine moraju iskazivati dvojne cijene. Iako na prvu zvuči kao nešto lagano za provesti, taj proces može uključivati product managera, dizajnera, backend i front-end programera. Kako se u tome snalaze mikro i mali poduzetnici koji su često "one man band"?

Intervju

“Tata” Angulara o tome što bi danas napravio drugačije i kako instantno ubrzati web aplikacije

Nakon više od 15 godina u Googleu, gdje je inicijalizirao, osmislio i podigao temelje Angulara, jednog od najpoznatijih JavaScript frameworka, a potom usmjerio Googleovu kulturu prema test driven developmentu, Miško Hevery se otisnuo u samostalne vode...

Što ste propustili

Novost

U kojem dijelu Hrvatske cvjetaju prihodi mikro, malim i srednjim poduzećima?

Oporavak ekonomske aktivnosti povećao je ukupne prihode mikro, malih i srednjih poduzeća i to s 452 milijarde na 543 milijuna kuna, ali već dolazi novi tamni tunel kojeg bi mogao napraviti rast cijena energenata.

Startupi i poslovanje

Paranoja o produktivnosti: 85% lidera teže vjeruje hibridnim i remote zaposlenicima

Čak 82% donositelja poslovnih odluka kaže da ih brine kako vratiti zaposlenike u ured što je izravna posljedica remote rada.

Novost

Agency04 postaje Notch!

Jedna od najbrže rastućih IT tvrtki u centralnoj Europi posljednjih godina bilježi rast prihoda od 500 posto, a preko 75 posto projekata radi za strane klijente.

Kolumna

Sretan međunarodni dan podcasta, svima koji slušaju!

Nedavno je, nakon 20 godina zatvora, na slobodu izašao čovjek koji je bio krivo optužen za ubojstvo. Velik dio zasluga za to ide jednom podcastu.

Intervju

Upoznajte Maria Ćendu, voditelja tima zaduženog za ICT sustav Disneyjevog kruzera kojim plovi 5500 ljudi

Pod utjecajem primorskog podneblja, u bespućima interneta, Mario Ćendo pronašao je zanimanje koje spaja za njega idealno: IT i pomorstvo. Od tada, više od 10 godina plovi i rješava tehnološke zavrzlame kruzera koji mogu smjestiti i po par tisuća ljudi. Prije nego je isplovio na još jednu 10 tjedana dugu rutu, s nama je podijelio detalje ovog nesvakidašnjeg posla.

Novost

Počela je crowdfunding kampanja za uvođenje robotike i umjetne inteligencije u škole diljem Hrvatske

Podrškom kampanje “Izgradi Školu budućnosti” svaka peta škola u Hrvatskoj dobit će program robotike, umjetne inteligencije ili Internet of Things.