Kako upravljati milijunima zahtjeva dnevno uz alat Cassandra
Shift

Kako upravljati milijunima zahtjeva dnevno uz Cassandru koju koriste Apple i Netflix?

Na ovogodišnjoj konferenciji Shift, održanoj u Splitu početkom lipnja, Aki Colocić, Lead Software Engineer u tvrtki Signal Digital iz Chicaga, predstavio je alat za upravljanje velikim bazama podataka pod imenom Cassandra.

Shift

Danas je gotovo nemoguće poslovati bez ogromne količine podataka. Tvrtke koje se bave marketingom moraju poznavati svoje klijente, financijske agencije moraju poznavati kretanje dionica na tržištu, a tvrtke za streaming različitih medija moraju osigurati lak i brz pristup svom sadržaju. Svaka bi tvrtka morala imati svoje interne sekcije za izvlačenje korisnih informacija iz gomile podataka, koja svakim danom postaje sve veća, te bi se sve više ulagalo u unaprjeđenje infrastrukture za obradu podataka, a ne u core business. Upravo zato javlja se potreba za tvrtkama koje će preuzeti zadaću upravljanja i prezentiranja podataka, a jedna od njih je Signal Digital koju smo prošli tjedan upoznali na konferenciji Shift u Splitu.

Zašto je danas potrebna Cassandra

Aki, koji je tamo prezentirao kako problemu pristupaju uz alat zvan Cassandra, izdvojio je nekoliko problema s kojima se njihovi klijenti susreću, a najveći od njih je prijelaz korisnika s klasičnih laptop i desktop računala na mobilne uređaje. Navodi da su ljudi još nesigurni kada kupuju online, a posebno preko mobitela. Naime, 65% korisnika “gugla” proizvode koje žele kupiti preko pametnog telefona, ali kada trebaju kupiti proizvod, 61% njih prelazi na laptop kako bi ga platili.

Kako upravo to čini noćnu moru za oglašavanje (jer je teško pratiti pojedinog korisnika kroz sve njegove uređaje), napravili su sučelje na kojem se tvrtkama prezentiraju svi relevantni podaci. Sučelje koristi Apache Cassandru kako bi, iz preko 500 nodova, 1,5 milijarde querija po danu, 90,96 terabajta podataka u 6 podatkovnih centara diljem svijeta, svojim klijentima prezentirali samo ono što ih uistinu zanima. Osim Signal Digitala, isti alat koriste Apple, Netflix i mnogi drugi te se postavlja pitanje – zašto baš Cassandra?

Zašto koriste Cassandru

Kao odgovor Aki navodi da se Cassandra može lako “tjunati”, može biti decentralizirana, lako je dostupna i lako raste. Klijenti pristupaju jednom nodu koji zatim komunicira sa svim nodovima u prstenu. Pogodna je za upravljanje s velikom količinom podataka i, ako jedan node prestane raditi, ostali ga automatski zamijene.

Slika prstenova po regijama Signal Digital

Pomoću Cassandre preživjeli su razne probleme koje su imali s Amazonovim servisom S3, rekao je govornik, te istaknuo Kafku kao streaming platformu koju koriste, ali i naveo neke negativne strane Cassandre.

Negativne strane Cassandre

Najveći problem je CQL != SQL – što u prijevodu znači da Cassandra query language nije isto što i Structured query language, premda izgledaju slično. Na primjer, prilikom stvaranja baze koristeći CQL, potrebno je više specificirati što se kreira.

Primjer razlika između CQL i SQL:

/* Create a new keyspace in CQL */
CREATE KEYSPACE myDatabase WITH replication =
  {‘class’: ‘SimpleStrategy’, ‘replication_factor’: 1};

/* Create a new database in SQL */
CREATE DATABASE myDatabase;

Aki navodi još jednu činjenicu na koju se korisnici Cassandre moraju naviknuti, a to je da nema relacija između tablica, no zato ne treba puno resursa za stvaranje nove tablice, dok se spajanje odvija na razini aplikacije.

Razlike eBay Tech Blog

Još jedna negativna stvar kod Cassandre je ta što nije lako brisati. Kada se radi s puno različitih servera koji moraju biti sinkronizirani, naredba za brisanje prvo će se primijeniti na jednom nodeu i onda dalje proširiti na sve ostale, a to zahtijeva određeno vrijeme i moguće su komplikacije. Kada se mora puno brisati, onda se radi veliko skeniranje baze, što zahtijeva puno resursa od servera i ne preporučuje se. Osim negativnih stvari, Aki navodi i one pozitivne.

Pozitivne strane Cassandre

Zajednica korisnika Cassandre velika je i jaka te se prilikom nastanka problema može vrlo brzo očekivati pomoć. Ona se čak brine o tome da ne dođe do problema tako što se prave testovi. Postoji puno testova koji olakšavaju rad, posebno za testiranje querija, a većina njih pisani su u programskom jeziku Java. Jedni od najboljih testova su oni koje je napravio Netflix – Chaosmonkey.

Shift

Jedna od prednosti je lak monitoring nodova te brzo gašenje pojedinih dijelova lanca ako ne rade kako treba, što je najčešće uzrokovano zagađenjem servera.

Opis Cassandre te kako je integrirati s različitim alatima, sigurno može ispuniti nekoliko knjiga, ali važno je prvo odlučiti koji se cilj želi postići i što će najprikladnije zadovoljiti potrebe. Potrebno je odlučiti hoće li se koristiti Apacheova Cassandra, koja je besplatna, ili Datasax Cassandra, koja se plaća i dolazi s uključenim Spark i Elasticsearch, ali u oba slučaja developer može očekivati podršku zajednice te uz malo uloženog vremena svladati tako moćan alat. Za kraj, Aki još navodi da Signal Digital i druge tvrtke koje se bave sličnim rješenjima stalno traže perspektivne kadrove –  pa ako ste razmišljali kako unaprijediti svoj životopis i naučiti nešto novo o upravljanju velikim bazama podataka, možda bi ovo bio dobar početak.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome)
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime (Hrvoje Lončar) ili barem ime i inicijala (Hrvoje L.) te pravu email adresu. Kako koristimo podatke koje tamo ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Digitalni marketing

Gdje griješimo u zapošljavanju generacije Z?

Zbog toga što je odrasla u posve novim okolnostima modernog društva, kao i u mnogo slučajeva dosad - stariji naraštaji sve slabije razumiju novu generaciju. Kako pristupiti "genzijevcima"?

Digitalni marketing

Je li Google Analytics ilegalan? Jest, ako se pogrešno implementira!

Je li korištenje Google Analyticsa (i svih drugih digitalnih servisa koji podatke spremaju u SAD) preko noći postalo ilegalno objašnjavaju stručnjak za digitalnu analitiku Robert Petković i pravnica Ana Bačić.

Društvene mreže

Kronike LinkedIna: “Poslovna mreža” koja je postala odlagalište objava za samohvalu i šuplje inspiracije

Što je sve LinkedIn postao, a nije trebao? Iliti kako smo pretvorili jedinu poslovnu društvenu mrežu u novi Facebook...

Što ste propustili

Startupi i poslovanje

Eleven Ventures vraća se sa 60 milijuna eura, dio žele potrošiti na hrvatske startupe

Jedan od prvih fondova koji je ulagao u Hrvatskoj, i s hrvatskim osnivačima prije gotovo 10 godina prolazio prve nespretne startup korake, vraća se dubljeg džepa.

Društvene mreže

Kako se s generacijom Z izborila senzacionalna CM-ovka, Kristina Ilić?

CM-ovi, danas je vaš dan, čestitamo! Kako je već postao običaj, na ovaj dan razgovaramo s najboljima od najboljih, vašim kolegama koji su osvojili SoMo nagradu za CM-a godine, 2021. ta je titula pripala Kristini Ilić od koje smo štošta naučili.

Startupi i poslovanje

Jesu li jednorozi doista bijeli?

Prvi pa drugi jednorog.... Opet jedna mala Hrvatska postiže velike stvari! I prije nego što smo napravili uvjete da postanemo konkurentni u pravom smislu riječi, skočili smo na te jednoroge kao spasitelje IT industrije, ali ubrzo će otkucati ponoć...

Startupi i poslovanje

Kako se prijaviti za EU sredstva u 2022. (i zašto zagrebačke tvrtke možda neće moći)

Hoće li prijava za EU sredstva za hrvatske tehnološke tvrtke biti laka ili teška ovisi o prijedlogu koji HGK, HUP, CISEx i CroAI pripremaju ovih dana, a sve o njemu raspravili smo s predsjednikom ICT udruge HUP-a, Hrvojem Balenom.

Intervju

Što na internetu radi i voli: Vuk Vuković

Ekonomist i poduzetnik čija tvrtka se bavi politčkim i tržišnim predviđanjima otkrio nam je sve o svojim online navikama - omiljena javna osoba koju prati je Nassim Taleb (koji i prati njega!), obožava memeove, skoro je kupio Dogecoin zbog Elona Muska, želi više followera na Twitteru, na Instagramu ima gastro profil cookwithvuk!

Društvene mreže

Kronike LinkedIna: “Poslovna mreža” koja je postala odlagalište objava za samohvalu i šuplje inspiracije

Što je sve LinkedIn postao, a nije trebao? Iliti kako smo pretvorili jedinu poslovnu društvenu mrežu u novi Facebook...