Kako upravljati milijunima zahtjeva dnevno uz Cassandru koju koriste Apple i Netflix?

Danas je gotovo nemoguće poslovati bez ogromne količine podataka. Tvrtke koje se bave marketingom moraju poznavati svoje klijente, financijske agencije moraju poznavati kretanje dionica na tržištu, a tvrtke za streaming različitih medija moraju osigurati lak i brz pristup svom sadržaju. Svaka bi tvrtka morala imati svoje interne sekcije za izvlačenje korisnih informacija iz gomile podataka, koja svakim danom postaje sve veća, te bi se sve više ulagalo u unaprjeđenje infrastrukture za obradu podataka, a ne u core business. Upravo zato javlja se potreba za tvrtkama koje će preuzeti zadaću upravljanja i prezentiranja podataka, a jedna od njih je Signal Digital koju smo prošli tjedan upoznali na konferenciji Shift u Splitu.

Zašto je danas potrebna Cassandra

Aki, koji je tamo prezentirao kako problemu pristupaju uz alat zvan Cassandra, izdvojio je nekoliko problema s kojima se njihovi klijenti susreću, a najveći od njih je prijelaz korisnika s klasičnih laptop i desktop računala na mobilne uređaje. Navodi da su ljudi još nesigurni kada kupuju online, a posebno preko mobitela. Naime, 65% korisnika “gugla” proizvode koje žele kupiti preko pametnog telefona, ali kada trebaju kupiti proizvod, 61% njih prelazi na laptop kako bi ga platili.

Kako upravo to čini noćnu moru za oglašavanje (jer je teško pratiti pojedinog korisnika kroz sve njegove uređaje), napravili su sučelje na kojem se tvrtkama prezentiraju svi relevantni podaci. Sučelje koristi Apache Cassandru kako bi, iz preko 500 nodova, 1,5 milijarde querija po danu, 90,96 terabajta podataka u 6 podatkovnih centara diljem svijeta, svojim klijentima prezentirali samo ono što ih uistinu zanima. Osim Signal Digitala, isti alat koriste Apple, Netflix i mnogi drugi te se postavlja pitanje – zašto baš Cassandra?

Zašto koriste Cassandru

Kao odgovor Aki navodi da se Cassandra može lako “tjunati”, može biti decentralizirana, lako je dostupna i lako raste. Klijenti pristupaju jednom nodu koji zatim komunicira sa svim nodovima u prstenu. Pogodna je za upravljanje s velikom količinom podataka i, ako jedan node prestane raditi, ostali ga automatski zamijene.

Pomoću Cassandre preživjeli su razne probleme koje su imali s Amazonovim servisom S3, rekao je govornik, te istaknuo Kafku kao streaming platformu koju koriste, ali i naveo neke negativne strane Cassandre.

Negativne strane Cassandre

Najveći problem je CQL != SQL – što u prijevodu znači da Cassandra query language nije isto što i Structured query language, premda izgledaju slično. Na primjer, prilikom stvaranja baze koristeći CQL, potrebno je više specificirati što se kreira.

Primjer razlika između CQL i SQL:

/* Create a new keyspace in CQL */
CREATE KEYSPACE myDatabase WITH replication =
  {‘class’: ‘SimpleStrategy’, ‘replication_factor’: 1};

/* Create a new database in SQL */
CREATE DATABASE myDatabase;

Aki navodi još jednu činjenicu na koju se korisnici Cassandre moraju naviknuti, a to je da nema relacija između tablica, no zato ne treba puno resursa za stvaranje nove tablice, dok se spajanje odvija na razini aplikacije.

Još jedna negativna stvar kod Cassandre je ta što nije lako brisati. Kada se radi s puno različitih servera koji moraju biti sinkronizirani, naredba za brisanje prvo će se primijeniti na jednom nodeu i onda dalje proširiti na sve ostale, a to zahtijeva određeno vrijeme i moguće su komplikacije. Kada se mora puno brisati, onda se radi veliko skeniranje baze, što zahtijeva puno resursa od servera i ne preporučuje se. Osim negativnih stvari, Aki navodi i one pozitivne.

Pozitivne strane Cassandre

Zajednica korisnika Cassandre velika je i jaka te se prilikom nastanka problema može vrlo brzo očekivati pomoć. Ona se čak brine o tome da ne dođe do problema tako što se prave testovi. Postoji puno testova koji olakšavaju rad, posebno za testiranje querija, a većina njih pisani su u programskom jeziku Java. Jedni od najboljih testova su oni koje je napravio Netflix – Chaosmonkey.

Jedna od prednosti je lak monitoring nodova te brzo gašenje pojedinih dijelova lanca ako ne rade kako treba, što je najčešće uzrokovano zagađenjem servera.

Opis Cassandre te kako je integrirati s različitim alatima, sigurno može ispuniti nekoliko knjiga, ali važno je prvo odlučiti koji se cilj želi postići i što će najprikladnije zadovoljiti potrebe. Potrebno je odlučiti hoće li se koristiti Apacheova Cassandra, koja je besplatna, ili Datasax Cassandra, koja se plaća i dolazi s uključenim Spark i Elasticsearch, ali u oba slučaja developer može očekivati podršku zajednice te uz malo uloženog vremena svladati tako moćan alat. Za kraj, Aki još navodi da Signal Digital i druge tvrtke koje se bave sličnim rješenjima stalno traže perspektivne kadrove –  pa ako ste razmišljali kako unaprijediti svoj životopis i naučiti nešto novo o upravljanju velikim bazama podataka, možda bi ovo bio dobar početak.