Kako upravljati milijunima zahtjeva dnevno uz alat Cassandra
Shift

Kako upravljati milijunima zahtjeva dnevno uz Cassandru koju koriste Apple i Netflix?

Na ovogodišnjoj konferenciji Shift, održanoj u Splitu početkom lipnja, Aki Colocić, Lead Software Engineer u tvrtki Signal Digital iz Chicaga, predstavio je alat za upravljanje velikim bazama podataka pod imenom Cassandra.

Shift

Danas je gotovo nemoguće poslovati bez ogromne količine podataka. Tvrtke koje se bave marketingom moraju poznavati svoje klijente, financijske agencije moraju poznavati kretanje dionica na tržištu, a tvrtke za streaming različitih medija moraju osigurati lak i brz pristup svom sadržaju. Svaka bi tvrtka morala imati svoje interne sekcije za izvlačenje korisnih informacija iz gomile podataka, koja svakim danom postaje sve veća, te bi se sve više ulagalo u unaprjeđenje infrastrukture za obradu podataka, a ne u core business. Upravo zato javlja se potreba za tvrtkama koje će preuzeti zadaću upravljanja i prezentiranja podataka, a jedna od njih je Signal Digital koju smo prošli tjedan upoznali na konferenciji Shift u Splitu.

Zašto je danas potrebna Cassandra

Aki, koji je tamo prezentirao kako problemu pristupaju uz alat zvan Cassandra, izdvojio je nekoliko problema s kojima se njihovi klijenti susreću, a najveći od njih je prijelaz korisnika s klasičnih laptop i desktop računala na mobilne uređaje. Navodi da su ljudi još nesigurni kada kupuju online, a posebno preko mobitela. Naime, 65% korisnika “gugla” proizvode koje žele kupiti preko pametnog telefona, ali kada trebaju kupiti proizvod, 61% njih prelazi na laptop kako bi ga platili.

Kako upravo to čini noćnu moru za oglašavanje (jer je teško pratiti pojedinog korisnika kroz sve njegove uređaje), napravili su sučelje na kojem se tvrtkama prezentiraju svi relevantni podaci. Sučelje koristi Apache Cassandru kako bi, iz preko 500 nodova, 1,5 milijarde querija po danu, 90,96 terabajta podataka u 6 podatkovnih centara diljem svijeta, svojim klijentima prezentirali samo ono što ih uistinu zanima. Osim Signal Digitala, isti alat koriste Apple, Netflix i mnogi drugi te se postavlja pitanje – zašto baš Cassandra?

Zašto koriste Cassandru

Kao odgovor Aki navodi da se Cassandra može lako “tjunati”, može biti decentralizirana, lako je dostupna i lako raste. Klijenti pristupaju jednom nodu koji zatim komunicira sa svim nodovima u prstenu. Pogodna je za upravljanje s velikom količinom podataka i, ako jedan node prestane raditi, ostali ga automatski zamijene.

Slika prstenova po regijama

Pomoću Cassandre preživjeli su razne probleme koje su imali s Amazonovim servisom S3, rekao je govornik, te istaknuo Kafku kao streaming platformu koju koriste, ali i naveo neke negativne strane Cassandre.

Negativne strane Cassandre

Najveći problem je CQL != SQL – što u prijevodu znači da Cassandra query language nije isto što i Structured query language, premda izgledaju slično. Na primjer, prilikom stvaranja baze koristeći CQL, potrebno je više specificirati što se kreira.

Primjer razlika između CQL i SQL:

/* Create a new keyspace in CQL */
CREATE KEYSPACE myDatabase WITH replication =
  {‘class’: ‘SimpleStrategy’, ‘replication_factor’: 1};

/* Create a new database in SQL */
CREATE DATABASE myDatabase;

Aki navodi još jednu činjenicu na koju se korisnici Cassandre moraju naviknuti, a to je da nema relacija između tablica, no zato ne treba puno resursa za stvaranje nove tablice, dok se spajanje odvija na razini aplikacije.

Razlike

Još jedna negativna stvar kod Cassandre je ta što nije lako brisati. Kada se radi s puno različitih servera koji moraju biti sinkronizirani, naredba za brisanje prvo će se primijeniti na jednom nodeu i onda dalje proširiti na sve ostale, a to zahtijeva određeno vrijeme i moguće su komplikacije. Kada se mora puno brisati, onda se radi veliko skeniranje baze, što zahtijeva puno resursa od servera i ne preporučuje se. Osim negativnih stvari, Aki navodi i one pozitivne.

Pozitivne strane Cassandre

Zajednica korisnika Cassandre velika je i jaka te se prilikom nastanka problema može vrlo brzo očekivati pomoć. Ona se čak brine o tome da ne dođe do problema tako što se prave testovi. Postoji puno testova koji olakšavaju rad, posebno za testiranje querija, a većina njih pisani su u programskom jeziku Java. Jedni od najboljih testova su oni koje je napravio Netflix – Chaosmonkey.

Shift

Jedna od prednosti je lak monitoring nodova te brzo gašenje pojedinih dijelova lanca ako ne rade kako treba, što je najčešće uzrokovano zagađenjem servera.

Opis Cassandre te kako je integrirati s različitim alatima, sigurno može ispuniti nekoliko knjiga, ali važno je prvo odlučiti koji se cilj želi postići i što će najprikladnije zadovoljiti potrebe. Potrebno je odlučiti hoće li se koristiti Apacheova Cassandra, koja je besplatna, ili Datasax Cassandra, koja se plaća i dolazi s uključenim Spark i Elasticsearch, ali u oba slučaja developer može očekivati podršku zajednice te uz malo uloženog vremena svladati tako moćan alat. Za kraj, Aki još navodi da Signal Digital i druge tvrtke koje se bave sličnim rješenjima stalno traže perspektivne kadrove –  pa ako ste razmišljali kako unaprijediti svoj životopis i naučiti nešto novo o upravljanju velikim bazama podataka, možda bi ovo bio dobar početak.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Tehnologija

Kako sam od osobe koja regrutira programere sama postala programerka?

Prije otprilike godinu dana intenzivno sam guglala “kako postati (samouki) developer”. Danas sam u situaciji da sama pišem o tome. Iako je svačije iskustvo drugačije, nadam se da će ono što sam putem naučila biti korisno i inspirativno svima koji koketiraju s programiranjem i razmišljaju o karijeri u IT-u.

Intervju

Good Game Nikole Stolnika osigurao 2,2 milijuna kuna, među investitorima Sacha Dragić, Ivan Klarić i Bruno Kovačić

Esport organizacija Good Game nedavno je osigurala svoju prvu veliku investiciju od 300 tisuća eura, na krilima grupe investitora koja uključuje Ivana Klarića, Brunu Kovačića i Sachu Dragića.

Intervju

Što korisnici žele i očekuju od vaših proizvoda i usluga zna podatkovna znanstvenica

Iako je njezin karijerni put krenuo u smjeru računovodstva i financija, Maja Copak Smolčić vrlo je brzo shvatila kako ju više zanima statistika i analiza podataka. Bila je spremna na novi početak i učenje programiranja i novih vještina. Danas u A1 vodi odjel zadužen za poslovnu analitiku i data science.

Što ste propustili

Tehnologija

Domaći ININ uz AI “opametio” održavanje cesta i očitavanje brojila u Slavonskom Brodu

Koristimo AI za filtere na Instagramu i razgovaramo s robotima svaki dan. Zašto onda ne bismo koristili umjetnu inteligenciju za bilježenje rupa na cesti? Tvrtka ININ mogla bi imati pravo rješenje.

Startupi i poslovanje

Kobe Bryant: košarkaš, Oskarovac, investitor – ulagao je u tvrtke poput Alibabe i Epic Gamesa

Jučer je u 41. godini preminuo Kobe Bryant, jedan od najvećih košarkaša svih vremena koji je svojim uspjesima na terenu i izvan njega zauvijek obilježio ovaj sport.

Društvene mreže

Bartol Šimunić: Da će društvene mreže biti okosnica kampanje Zorana Milanovića odlučilo se još u svibnju

Bio je među prvim community managerima Vlade kad je 2011. došla na društvene mreže, a sada je jedna od ključnih osoba koja je stajala digitalne kampanje novog predsjednika Hrvatske Zorana Milanovića.

Internet marketing

Podcast o specifičnostima podcasta u Hrvatskoj kao sadržajnom, ali i oglašivačkom formatu

Podcasti, iako postoje već godinama, očito su format koji će obilježiti digitalno tržište u Hrvatskoj u 2020. tako da je red pozabaviti se njihovim specifičnostima - u obliku podcasta!

Tehnologija

Hrvatska pošta u zraku: Dostava dronom u Hrvatskoj sve nam je bliža

Nakon eksperimentiranja s kriptovalutama, Hrvatska pošta poletjela je i u istraživanje bespilotnih letjelica koje bi mogle dostavljati pakete u udaljenim dijelovima Hrvatske.

Tehnologija

Gradionica – gdje zagrebački klinci grade LEGO robote i zajednicu spremnu za svijet budućnosti

Marljivi polaznici udruge Gradionica svoje zimske praznike nisu provodili pred računalima, mobitelima i konzolama. Nadvijeni nad LEGO kockicama, motorima, kabelima i senzorima planirali su što s novim zadatkom FIRST LEGO lige, na čijoj je svjetskoj završnici u Houstonu prošle godine bio upravo robot iz hrvatske (G)radionice.