Reportaža iz Londona: Kako se Facebook zapravo bori protiv lažnih profila, prijevara, terorista?

Reportaža iz Londona: Kako se Facebook zapravo bori protiv lažnih profila, prijevara, terorista?

Facebook je održao događaj za medije na kojem je predstavnicima približio metode suzbijanja lažnih profila, prijevara, uznemiravanja, terorističke propagande i drugih neželjenih radnji na svojim platformama. Netokracija, kao jedini medij iz Hrvatske koji je prisustvovao događaju, donosi detaljan izvještaj.

Prošli sam tjedan imala priliku sudjelovati na Facebookovom događaju za medije u njegovom sjedištu u Londonu. Tamo su se novinarima iz cijele Europe predstavili voditelji raznih odjela unutar takozvanog Community Integrity tima, koji zauzima jedan cijeli kat zgrade u kojoj se smjestila ova društvena mreža.

Još prije samog događaja bilo nam je naglašeno da neće biti riječi o političkom oglašavanju, što je zanimljivo jer je to tema oko koje je ova društvena mreža poprilično kritizirana u posljednje vrijeme, ali možda su se u tom duhu željele medijima približiti neke druge aktivnosti i problemi s kojima se ova društvena mreža suočava, kao i načini na koji ih rješava.

Razgovaralo se tu o tome što Facebook radi ne bi li spriječio poplavu lažnih profila, širenje terorističke propagande, zlostavljanje i uznemiravanje svojih korisnika, a dobili smo uvid i u to kako funkcionira sustav prijava sadržaja te žalbi.

Za one nestrpljive koje ova tema posebno zanima, možda je dobro odmah napomenuti kako svaku prijavu sadržaja pregledava živa osoba kako bi se utvrdilo krše li se Facebookovi uvjeti korištenja, a postoje i osobe dedicirane za naše tržište, koje poznaju jezik i lokalni kontekst, što je, kako se više puta ponovilo tijekom susreta, iznimno važno za što bolje rješavanje problema.

Ako se ljudi ne osjećaju sigurno, neće koristiti naše usluge

Simon Cross, Director of Product, na početku susreta je rekao:

Ovi problemi su neke od najizazovnijih stvari na kojima radimo. Važni su našim korisnicima, važni su nama. Ako se ljudi ne osjećaju sigurno koristeći naše usluge, neće ih ni koristiti.

Stoga Community Integrity tim ima misiju – smanjiti količinu negativnih iskustava poduzimajući radnje protiv sadržaja i osoba koje krše uvjete korištenja, sa što manje greški.

Ovo “sa što manje greški” ponavljalo se tijekom cijelog dana jer su u ovoj tvrtki, kako kažu, svjesni da će do grešaka uvijek dolaziti, ali konstantom prilagodbom procesa, edukacijom (i ljudi i strojeva), napretkom tehnologije i uz povratne informacije korisnika žele minimalizirati njihov broj, kao i smanjiti broj korisnika koji imaju negativno iskustvo općenito. No, čak i kad je greška statistički mala, na velik broj korisnika, koji Facebook i njegova obitelj aplikacija imaju, ona opet obuhvaća velik broj ljudi.

Zbog toga se ovom izazovu pristupa s tri strane, objasnio je Simon, kroz politiku sadržaja, odnosno razvoj uvjeta korištenja, integritet zajednice, gdje se radi na tehnologiji koja pomaže kod provođenja uvjeta korištenja, te operacije vezane uz samu zajednicu, što predstavlja ljudsku podršku kroz provjeru sadržaja. Tu veliku važnost predstavljaju žalbe na određene odluke koje je proveo, primjerice, algoritam, koje pomažu da ih živo biće ispravi te da sustav od toga nešto nauči, istaknulo se.

Spam i lažni profili najlakše se uočavaju

No, koliko radnji Facebook zapravo poduzima? Ovaj graf će to dobro ilustrirati:

Facebook

Dakle, većina radnji poduzima se protiv lažnih profila i spama, a upravo tu tehnologija igra najveću ulogu, dok su kod drugih segmenata izazovi ipak nešto kompliciraniji.

Također, reakcije se dijele na proaktivne i reaktivne. Proaktivne nastupaju prije no što korisnici uopće prepoznaju da je do negativne radnje došlo (ili čak prije no što do nje dođe, recimo, onemogućivanjem kreiranja lažnih profila). Reaktivne nastupaju kad ih je korisnik prijavio.

Najviše proaktivnih radnji ima, opet, kod kreiranja lažnih profila (99,7%), spama (99,9%), golotinje (98,4%), prikazivanja nasilja (98,6%), iskorištavanja maloljetnika ili maloljetničke golotinje (99,5%), terorističke propagande (98,5%), sadržaja vezanog uz drogu (97,6%), vatreno oružje (93,8%) i sadržaja vezanog uz samoubojstvo ili samoozljeđivanje (97,3%).

Kod govora mržnje, proaktivno se uklanja 80,2% sadržaja, a kod zlostavljanja i uznemiravanja tek 16,1% sadržaja. O toj problematici porazgovarala sam s Namratom Bostrom, Product Managericom za proizvode upravo iz tog područja, koja mi je u zasebnom intervjuu objasnila zašto su omjeri takvi, ali i što je od alata dostupno kako bi se taj omjer promijenio odnosno kako bi se korisnici osjećali sigurnije.

Od ključnih riječi do konteksta

Na susretu smo mogli na mnogim primjerima vidjeti kako se tehnološki dio prepoznavanja spornog sadržaja razvijao. Do 2014. godine, sadržaj se prepoznavao samo po ključnim riječima (što su oni koji su željeli postavljati neželjeni sadržaj lako mogli premostiti). Nakon toga se uključila tehnologija računalnog vida. Ona je prvotno razvijena za slabovidne i slijepe osobe kako bi im se opisalo što se nalazi na kojoj slici ili videu (i koja je vjerojatnost da se upravo to nalazi na njima), a ovdje se koristila kako bi se lakše prepoznalo koja je vjerojatnost da je neki sadržaj sporan.

Na kraju smo došli do današnjeg vremena, kada se u obzir uzima cijeli kontekst u kojemu je određeni sadržaj objavljen.

Facebook
Do 2014. oslanjalo se na ključne riječi, potom se upotrebljavao računalni vid za prepoznavanje predmeta i osoba na slikama, a danas se uzima u obzir cijeli kontekst.

Da bi pokazao koliko može biti izazovno provoditi pravila, Brad Shuttleworth, Project Manager za lažne profile, napravio je mini eksperiment među novinarima kako bi oni sami ocijenili što je lažni profil na Facebooku, a što ne. Je li to samo netko tko se očito lažno predstavlja ili profil nečijeg kućnog ljubimca ili plišane igračke?

Prevarant ili tek tinejdžer?

Facebook definira lažne profile na dva načina: jedno su oni koji su krivo klasificirani (primjerice, riječ je o nečemu što bi trebalo biti Facebook stranica, a ne profil), a drugi su neželjeni profili koji se koriste zlonamjerno (za prijevare, spamanje). U prvom se slučaju profilima predlaže prenamjena profila, u drugom ih se ukida.

Idealno, nije potrebno ni jedno ni drugo, nego se osobama ili skriptama koji pokušavaju kreirati lažne profile to onemogućuje. Radi se to na razne načine: prate se obrasci ponašanja, IP adrese, mreže ili domene s kojih se kreiraju novi profili… Većina zlonamjernih radnji tu bude zaustavljena, a dobar dio netom nakon kreiranja.

Facebook
Ponekad je teško zaključiti je li netko prevarant ili tek razigrani tinejdžer.

Što se tiče kompleksnijih lažnih profila, koji nisu zaustavljeni odmah na početku, njih je teže detektirati. Primjerice, netko tko želi provesti kakvu prijevaru, dodavat će velik broj ljudi kao prijatelje na ovoj društvenoj mreži. No, neke skupine ljudi slično se ponašaju, primjerice, tinejdžeri, pa to ne može biti jedini kriterij za detekciju sumnjivog ponašanja. Ta se razlika utvrđuje na način da se sumnjive profile traži dodatne informacije i slično.

Lako je ukloniti video, ali je li i isfiltriranu snimku snimke videa?

Nakon lažnih profila prelazimo na visoko ozbiljne prijetnje, poput terorističke propagande. Ovdje nema mjesta za pogreške, cilj je imati nultu stopu tolerancije na takav sadržaj. Ipak, i tu je izazov količina – dvije milijarde ljudi, više platformi, različiti jezici.

O tome su više govorili Nicola Bortignon, Senior Engineer Manager zadužen za sprječavanje zlostavljanja i uznemiravanja, te Namrata Bostrom, Product Manager za isto područje. Kako kažu, kad se problemu pristupi s više strana, lakše ga je riješiti, ali to ne znači da je i dalje – lako.

Teroristi postaju pametniji kako mi postajemo pametniji. Stoga je sve teže riješiti ovaj problem.

Na upit medija, osvrnuli su se na incident u Novom Zelandu, otvoreno govoreći o tome zašto je snimke masakra bilo teško ukloniti. Originalni video, odnosno prijenos uživo, uklonjen je nekoliko minuta nakon što je prijavljen ovoj društvenoj mreži (iako je to bilo 29 minuta nakon što je video krenuo online), ali izazov je bio ukloniti njegove nove inačice. Naravno, lakše je ukloniti isti video koji se ponovno učita, ali snimku ekrana na kojemu je taj video? Video na koji su dodani titlovi, emoji? To sve predstavlja izazov za strojno učenje.

Tu se koristi takozvani Media Matching, odnosno usporedba sadržaja ne bi li se vidjelo je li riječ o istom ili sličnom sadržaju. Izazov je “istrenirati” algoritam da uočava sličnosti poput čovjeka – jednostavno okretanje slike može ga zbuniti. Naravno, to je lako premostiti, ali neke druge intervencije u sadržaj nisu tako jednostavne. A za što bržu usporedbu sadržaja kreira se “banka” sadržaja koji je već prekršio uvjete korištenja, stoga se novi sporni sadržaji uspoređuju samo s njima, ne sa svim sadržajem ikad učitanim na društvenu mrežu.

Facebook
Stroj je je nekada lako prevariti da dvije slike nisu “iste” – ranije je bilo dovoljno da se slika rotira, obrne, da se glavnom akteru ukloni pozadina, da se na nju stavi filter… Algoritam je bilo potrebno naučiti da na pojam “istoga” gleda više poput čovjeka, a ne stroja.

Zanimljivo je što izazov kod treniranja strojeva za prepoznavanje terorističkog sadržaja predstavljaju ograničeni podatci – terorističkih incidenata – kojih, u kontekstu svog ostalog sadržaja koji ova društvena mreža vidi, nema toliko puno, stoga je Facebook morao tražiti vanjske podatke. Jedna od suradnji je bila s Metropolitan policijom koja je ponudila razne video sadržaje koji su se koristili za treniranje algoritma.

Sporni sadržaj nije potrebno prijavljivati više puta

Nakon što smo se dotakli kompleksne teme zlostavljanja i uznemiravanja, na kraju su na red došle prijave sadržaja, kao i žalbe na uklanjanje prijavljenog sadržaja. O tom je procesu govorila više Sandi Conroy, Data Science Manager, koja je ujedno razbila i neke mitove.

Sporni sadržaj dovoljno je prijaviti samo jednom, iako postoji lažno vjerovanje da će se, ako se nešto prijavi puno puta, brže ukloniti.

Od zanimljivih podataka čulo se još i da ukupno 35.000 ljudi u Facebooku radi na sigurnosti te da se konstantno ulaže i u ljude i u tehnologiju. Moderatora sadržaja ima 15.000, iako se nije željelo govoriti o tome koliko ih radi direktno za Facebook, a koliko su vanjski izvođači (a nisu se spominjali ni uvjeti u kojima su pojedini vanjski izvođači radili).

Proaktivnost, a ne reaktivnost – što može Facebook naučiti od samog sebe?

Facebook
Community Integrity tim zauzima cijeli jedan kat londonskog ureda Facebooka.

Govorilo se i o tome da nema budućnosti bez kombinacije i ljudske snage i snage strojeva, usprkos tome što tehnologija postaje sve bolja. Iako strojevi mogu obrađivati ogromnu količinu podataka u kratkom vremenu, ljudi su bolji u procjenjivanju nijansi, kulturalnom znanju, kontekstu i lokalnom jeziku.

Sveukupni dojam je da Facebook, posljednjih nekoliko godina, konačno ulaže znatno više napora na ovom području, no ne može se izbjeći i činjenica da se sa svim tim naporima, u ovolikom obujmu, trebalo krenuti daleko ranije. Sam pristup svim gore nabrojanim izazovima stavlja fokus na proaktivno djelovanje, dok sam Facebook, kao tvrtka, ostavlja dojam da na mnoge izazove djeluje reaktivno, odnosno tek nakon što na površinu isplivaju incidenti i skandali.

Možda bi sama tvrtka o tom pristupu mogla više učiti od vlastitih ljudi, poput osoba iz svog Community Integrity tima.

ponuda

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Startupi i poslovanje

MVT Solutions iz Pisarovine osigurao 100.000 od 300.000 eura vrijedne runde investicije za brži i jeftiniji razvoj IoT-ja

Ovaj domaći startup u tri je godine, bez ikakve vanjske investicije, razvio IoTaaP, alat koji može uvelike olakšati razvoj IoT proizvoda različitim klijentima. Osim hardvera, njihov poslovni model se skalira kroz softver i cloud, a koliko uspješno su se rješenjem i radom potvrdili do sada, najbolje govori i vijest o prvoj investicijskoj rundi predvođenoj domaćim investitorom.

Video

Što se dogodi kada ekstremnom trolu oduzmete megafon, odnosno društvene mreže?

Počne skapavati od gladi, sudeći prema uvijek dramatičnom istaknutom pripadniku 'alt right' pokreta, Milu Yiannopoulosu iliti Neru iliti Milu Andreasu Wagneru iliti Milu Hanrahanu, što je zapravo njegovo pravo ime.

Internet marketing

Hrvatski brendovi boje se zauzeti stav u marketingu (i upravo time gube!)

U najnovijoj epizodi Netokracija podcasta bavimo se brendovima koji se ne boje zauzeti stav. Takvih je u hrvatskoj vrlo malo, rijetki se odluče na taj rizik, a ne shvaćaju da je zapravo upravo to najriskantniji potez.

Što ste propustili

Sponzorirano

Privući i zadržati zaposlenike nećete šarenim uredom, ali hoćete agilnom transformacijom

Neki nabavljaju stolni nogomet i šarene vreće za odmaranje, neki organiziraju filmske večeri i zabave petkom, a neki se obraćaju - agilnom treneru.

Intervju

Kako do prakse na kojoj si plaćen i na kojoj učiš, ulažeš u sebe i napreduješ?

Nekima je još u redu pripravnike uzimati na neplaćeno pa ih natovariti kao da su Katica za sve. Pripravništva su se promijenila, barem u nekim tvrtkama, a netom diplomirana ekonomistica i njezin kolega na apsolventskoj godini, otkrit će vam i kako.

Startupi i poslovanje

Dragi svi, budite podrška koju želite i sebi; drage žene, nemojte prihvatiti ništa manje

Ladies of New Business Tech edition okupio je domaće i strane IT rukovoditelje, stručnjake i organizatore IT konferencija kako bi raspravili što kao kolege, šefovi i organizatori možemo učiniti kako bi pomogli IT-jevkama da napreduju u industriji te da se osjećaju kao njezin važan dio.

Kultura 2.0

Gen Ashley i Christina Richter na 8. #LadiesZG: bez uzora i edukacije nema jednakosti u tehnološkoj industriji

Kako bismo privukli više žena u tehnologiju trebamo podržati i trenutne žene u industriji koje će svojim primjerom pokazati da ovaj sektor nije "muški svijet".

Startupi i poslovanje

Hrvatski SysKit: Za 90% funkcionalnosti inspirirali su ih njihovi korisnici, među kojima je i američka vlada

Hrvatska softverska tvrtka SysKit već 10 godina pomaže sistemašima i administratorima u više od 3000 tvrtki diljem svijeta. Njezin suosnivač Frane Borozan otkrio mi je strategiju koja im je omogućila kompetitivnost na svjetskoj razini i približila ih ostvarenju želje da postanu jedan od najvećih proizvođača softvera u Hrvatskoj.

Startupi i poslovanje

Indienogo – kako će izuzimanje Hrvatske s ove platforme utjecati na domaće projekte?

Indiegogo više nije službeno podržan u Hrvatskoj, što znači da ne možete više na njega postavljati kampanje ako ste tvrtka registrirana u Lijepoj našoj. Istražili smo kako je do toga došlo, a i kako će to utjecati na domaće projekte koji platformu aktivno koriste.