Kako upravljati milijunima zahtjeva dnevno uz alat Cassandra
Shift

Kako upravljati milijunima zahtjeva dnevno uz Cassandru koju koriste Apple i Netflix?

Na ovogodišnjoj konferenciji Shift, održanoj u Splitu početkom lipnja, Aki Colocić, Lead Software Engineer u tvrtki Signal Digital iz Chicaga, predstavio je alat za upravljanje velikim bazama podataka pod imenom Cassandra.

Shift

Danas je gotovo nemoguće poslovati bez ogromne količine podataka. Tvrtke koje se bave marketingom moraju poznavati svoje klijente, financijske agencije moraju poznavati kretanje dionica na tržištu, a tvrtke za streaming različitih medija moraju osigurati lak i brz pristup svom sadržaju. Svaka bi tvrtka morala imati svoje interne sekcije za izvlačenje korisnih informacija iz gomile podataka, koja svakim danom postaje sve veća, te bi se sve više ulagalo u unaprjeđenje infrastrukture za obradu podataka, a ne u core business. Upravo zato javlja se potreba za tvrtkama koje će preuzeti zadaću upravljanja i prezentiranja podataka, a jedna od njih je Signal Digital koju smo prošli tjedan upoznali na konferenciji Shift u Splitu.

Zašto je danas potrebna Cassandra

Aki, koji je tamo prezentirao kako problemu pristupaju uz alat zvan Cassandra, izdvojio je nekoliko problema s kojima se njihovi klijenti susreću, a najveći od njih je prijelaz korisnika s klasičnih laptop i desktop računala na mobilne uređaje. Navodi da su ljudi još nesigurni kada kupuju online, a posebno preko mobitela. Naime, 65% korisnika “gugla” proizvode koje žele kupiti preko pametnog telefona, ali kada trebaju kupiti proizvod, 61% njih prelazi na laptop kako bi ga platili.

Kako upravo to čini noćnu moru za oglašavanje (jer je teško pratiti pojedinog korisnika kroz sve njegove uređaje), napravili su sučelje na kojem se tvrtkama prezentiraju svi relevantni podaci. Sučelje koristi Apache Cassandru kako bi, iz preko 500 nodova, 1,5 milijarde querija po danu, 90,96 terabajta podataka u 6 podatkovnih centara diljem svijeta, svojim klijentima prezentirali samo ono što ih uistinu zanima. Osim Signal Digitala, isti alat koriste Apple, Netflix i mnogi drugi te se postavlja pitanje – zašto baš Cassandra?

Zašto koriste Cassandru

Kao odgovor Aki navodi da se Cassandra može lako “tjunati”, može biti decentralizirana, lako je dostupna i lako raste. Klijenti pristupaju jednom nodu koji zatim komunicira sa svim nodovima u prstenu. Pogodna je za upravljanje s velikom količinom podataka i, ako jedan node prestane raditi, ostali ga automatski zamijene.

Slika prstenova po regijama

Pomoću Cassandre preživjeli su razne probleme koje su imali s Amazonovim servisom S3, rekao je govornik, te istaknuo Kafku kao streaming platformu koju koriste, ali i naveo neke negativne strane Cassandre.

Negativne strane Cassandre

Najveći problem je CQL != SQL – što u prijevodu znači da Cassandra query language nije isto što i Structured query language, premda izgledaju slično. Na primjer, prilikom stvaranja baze koristeći CQL, potrebno je više specificirati što se kreira.

Primjer razlika između CQL i SQL:

/* Create a new keyspace in CQL */
CREATE KEYSPACE myDatabase WITH replication =
  {‘class’: ‘SimpleStrategy’, ‘replication_factor’: 1};

/* Create a new database in SQL */
CREATE DATABASE myDatabase;

Aki navodi još jednu činjenicu na koju se korisnici Cassandre moraju naviknuti, a to je da nema relacija između tablica, no zato ne treba puno resursa za stvaranje nove tablice, dok se spajanje odvija na razini aplikacije.

Razlike

Još jedna negativna stvar kod Cassandre je ta što nije lako brisati. Kada se radi s puno različitih servera koji moraju biti sinkronizirani, naredba za brisanje prvo će se primijeniti na jednom nodeu i onda dalje proširiti na sve ostale, a to zahtijeva određeno vrijeme i moguće su komplikacije. Kada se mora puno brisati, onda se radi veliko skeniranje baze, što zahtijeva puno resursa od servera i ne preporučuje se. Osim negativnih stvari, Aki navodi i one pozitivne.

Pozitivne strane Cassandre

Zajednica korisnika Cassandre velika je i jaka te se prilikom nastanka problema može vrlo brzo očekivati pomoć. Ona se čak brine o tome da ne dođe do problema tako što se prave testovi. Postoji puno testova koji olakšavaju rad, posebno za testiranje querija, a većina njih pisani su u programskom jeziku Java. Jedni od najboljih testova su oni koje je napravio Netflix – Chaosmonkey.

Shift

Jedna od prednosti je lak monitoring nodova te brzo gašenje pojedinih dijelova lanca ako ne rade kako treba, što je najčešće uzrokovano zagađenjem servera.

Opis Cassandre te kako je integrirati s različitim alatima, sigurno može ispuniti nekoliko knjiga, ali važno je prvo odlučiti koji se cilj želi postići i što će najprikladnije zadovoljiti potrebe. Potrebno je odlučiti hoće li se koristiti Apacheova Cassandra, koja je besplatna, ili Datasax Cassandra, koja se plaća i dolazi s uključenim Spark i Elasticsearch, ali u oba slučaja developer može očekivati podršku zajednice te uz malo uloženog vremena svladati tako moćan alat. Za kraj, Aki još navodi da Signal Digital i druge tvrtke koje se bave sličnim rješenjima stalno traže perspektivne kadrove –  pa ako ste razmišljali kako unaprijediti svoj životopis i naučiti nešto novo o upravljanju velikim bazama podataka, možda bi ovo bio dobar početak.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Društvene mreže

I porečki restoran i TikTok influencerica su u krivu

Iako je javnost brzo osudila influencericu Doris Stanković, s obje strane se pokazalo nepoznavanje profesionalne komunikacije, a i influencer marketinga.

Tehnologija

“Tata, jesi li baš morao kupiti električni auto?”

Napravio sam grešku: kupio sam električni automobil. Svi članci o električnim vozilima (EV) koje sam čitao na Hacker Newsu i Redditu nisu me pripremili za desetak EV infrastrukturnih problema u Hrvatskoj i okolici. Anegdote u nastavku objašnjavaju lekcije koje sam naučio na teži način.

Izrada web stranica

Da HTZ zna promovirati slavonski turizam u doba krize, ne bi pokrenuo Slavonia.travel

Slavonija je zanemarena već dugo, ali imamo što za ponuditi. Zašto onda reklamiramo samo kulen, rakiju i fiš?!

Što ste propustili

Ecommerce

Što sam ja, a što su OPG-ovci naučili o online prodaji u 6 mjeseci Facebook grupe Virtualni plac

Facebook grupa Virtualni zagrebački plac danas broji 58.000 članova, a prije šest mjeseci nije postojala, kao ni digitalno prisustvo mnogih OPG-ovaca. Što se događalo u međuvremenu?

Kolumna

Microsoftova akvizicija ZeniMaxa samo je jedan korak u transformaciji Xboxa u “gaming Netflix”

Možda vam je Microsoft poznat po Windowsima, Officeu i cloud infrastrukturi, ali ovaj PC mastodont jučer je uložio u studio video igara 8 milijardi dolara! A ima itekako dobar razlog...

Tehnologija

Sezona je gotova. Može li ‘proptech’ pomoći s neiskorištenim apartmanima, ali i radnim prostorima?

Fizičko distanciranje stvorilo je krizu bez presedana za industriju nekretnina jer se po prvi put u modernom sjećanju potražnja za mnogim prostorima smanjila. Proptech industrija pokušava riješiti taj problem.

Startupi i poslovanje

Marko Štajcer: Kad već imamo ogromne količine podataka, idemo ih iskoristiti!

U 2020. nikada nije bilo jasnije koliku vrijednost nosi tehnologija za normalno funkcioniranje društva, a koliko još bi nam značila kada bi sve podatke koje imamo upogonili da rade za nas. Zanimaju li vas otvoreni podaci i rješavanje velikih analitički problema na njima, Open Data Hackathon dobra je prilika za iskušati svoje vještine i povezati se s ključnim mentorima i investitorima.

Društvene mreže

Hrvatski influenceri ne čekaju rasplet situacije s TikTokom: Već su spremni za selidbu na Reels

Tijekom vikenda bilo je neizvjesno hoće li TikTok biti izbačen iz američkih trgovina aplikacijama ili ne, ali čini se da postoji svjetlo na kraju tunela. No, sve je to uzburkalo i domaće i globalne kreatore sadržaja, a Vlatko Tutić iz JoomBoosa, koji okuplja 13 TikTokera, otkriva kako su došli na ovu društvenu mrežu, a i kako će s nje otići na Reels ili negdje drugdje, ako bude potrebno.

Netokracija Podcast

Tko je tko u hrvatskoj digitalnoj industriji? Slavimo 50. epizodu Netokracija Podcasta!

Povodom 50. epizode Netokracija Podcasta odlučili smo se na malo drugačiji format: igru! Pogađat ćemo neka od najistaknutijih lica hrvatske digitalne industrije, od osnivača tehnoloških tvrtki do freelancera i marketingaša!