Reportaža iz Londona: Kako se Facebook zapravo bori protiv lažnih profila, prijevara, terorista?

Reportaža iz Londona: Kako se Facebook zapravo bori protiv lažnih profila, prijevara, terorista?

Facebook je održao događaj za medije na kojem je predstavnicima približio metode suzbijanja lažnih profila, prijevara, uznemiravanja, terorističke propagande i drugih neželjenih radnji na svojim platformama. Netokracija, kao jedini medij iz Hrvatske koji je prisustvovao događaju, donosi detaljan izvještaj.

Prošli sam tjedan imala priliku sudjelovati na Facebookovom događaju za medije u njegovom sjedištu u Londonu. Tamo su se novinarima iz cijele Europe predstavili voditelji raznih odjela unutar takozvanog Community Integrity tima, koji zauzima jedan cijeli kat zgrade u kojoj se smjestila ova društvena mreža.

Još prije samog događaja bilo nam je naglašeno da neće biti riječi o političkom oglašavanju, što je zanimljivo jer je to tema oko koje je ova društvena mreža poprilično kritizirana u posljednje vrijeme, ali možda su se u tom duhu željele medijima približiti neke druge aktivnosti i problemi s kojima se ova društvena mreža suočava, kao i načini na koji ih rješava.

Razgovaralo se tu o tome što Facebook radi ne bi li spriječio poplavu lažnih profila, širenje terorističke propagande, zlostavljanje i uznemiravanje svojih korisnika, a dobili smo uvid i u to kako funkcionira sustav prijava sadržaja te žalbi.

Za one nestrpljive koje ova tema posebno zanima, možda je dobro odmah napomenuti kako svaku prijavu sadržaja pregledava živa osoba kako bi se utvrdilo krše li se Facebookovi uvjeti korištenja, a postoje i osobe dedicirane za naše tržište, koje poznaju jezik i lokalni kontekst, što je, kako se više puta ponovilo tijekom susreta, iznimno važno za što bolje rješavanje problema.

Ako se ljudi ne osjećaju sigurno, neće koristiti naše usluge

Simon Cross, Director of Product, na početku susreta je rekao:

Ovi problemi su neke od najizazovnijih stvari na kojima radimo. Važni su našim korisnicima, važni su nama. Ako se ljudi ne osjećaju sigurno koristeći naše usluge, neće ih ni koristiti.

Stoga Community Integrity tim ima misiju – smanjiti količinu negativnih iskustava poduzimajući radnje protiv sadržaja i osoba koje krše uvjete korištenja, sa što manje greški.

Ovo “sa što manje greški” ponavljalo se tijekom cijelog dana jer su u ovoj tvrtki, kako kažu, svjesni da će do grešaka uvijek dolaziti, ali konstantom prilagodbom procesa, edukacijom (i ljudi i strojeva), napretkom tehnologije i uz povratne informacije korisnika žele minimalizirati njihov broj, kao i smanjiti broj korisnika koji imaju negativno iskustvo općenito. No, čak i kad je greška statistički mala, na velik broj korisnika, koji Facebook i njegova obitelj aplikacija imaju, ona opet obuhvaća velik broj ljudi.

Zbog toga se ovom izazovu pristupa s tri strane, objasnio je Simon, kroz politiku sadržaja, odnosno razvoj uvjeta korištenja, integritet zajednice, gdje se radi na tehnologiji koja pomaže kod provođenja uvjeta korištenja, te operacije vezane uz samu zajednicu, što predstavlja ljudsku podršku kroz provjeru sadržaja. Tu veliku važnost predstavljaju žalbe na određene odluke koje je proveo, primjerice, algoritam, koje pomažu da ih živo biće ispravi te da sustav od toga nešto nauči, istaknulo se.

Spam i lažni profili najlakše se uočavaju

No, koliko radnji Facebook zapravo poduzima? Ovaj graf će to dobro ilustrirati:

Facebook

Dakle, većina radnji poduzima se protiv lažnih profila i spama, a upravo tu tehnologija igra najveću ulogu, dok su kod drugih segmenata izazovi ipak nešto kompliciraniji.

Također, reakcije se dijele na proaktivne i reaktivne. Proaktivne nastupaju prije no što korisnici uopće prepoznaju da je do negativne radnje došlo (ili čak prije no što do nje dođe, recimo, onemogućivanjem kreiranja lažnih profila). Reaktivne nastupaju kad ih je korisnik prijavio.

Najviše proaktivnih radnji ima, opet, kod kreiranja lažnih profila (99,7%), spama (99,9%), golotinje (98,4%), prikazivanja nasilja (98,6%), iskorištavanja maloljetnika ili maloljetničke golotinje (99,5%), terorističke propagande (98,5%), sadržaja vezanog uz drogu (97,6%), vatreno oružje (93,8%) i sadržaja vezanog uz samoubojstvo ili samoozljeđivanje (97,3%).

Kod govora mržnje, proaktivno se uklanja 80,2% sadržaja, a kod zlostavljanja i uznemiravanja tek 16,1% sadržaja. O toj problematici porazgovarala sam s Namratom Bostrom, Product Managericom za proizvode upravo iz tog područja, koja mi je u zasebnom intervjuu objasnila zašto su omjeri takvi, ali i što je od alata dostupno kako bi se taj omjer promijenio odnosno kako bi se korisnici osjećali sigurnije.

Od ključnih riječi do konteksta

Na susretu smo mogli na mnogim primjerima vidjeti kako se tehnološki dio prepoznavanja spornog sadržaja razvijao. Do 2014. godine, sadržaj se prepoznavao samo po ključnim riječima (što su oni koji su željeli postavljati neželjeni sadržaj lako mogli premostiti). Nakon toga se uključila tehnologija računalnog vida. Ona je prvotno razvijena za slabovidne i slijepe osobe kako bi im se opisalo što se nalazi na kojoj slici ili videu (i koja je vjerojatnost da se upravo to nalazi na njima), a ovdje se koristila kako bi se lakše prepoznalo koja je vjerojatnost da je neki sadržaj sporan.

Na kraju smo došli do današnjeg vremena, kada se u obzir uzima cijeli kontekst u kojemu je određeni sadržaj objavljen.

Do 2014. oslanjalo se na ključne riječi, potom se upotrebljavao računalni vid za prepoznavanje predmeta i osoba na slikama, a danas se uzima u obzir cijeli kontekst. Facebook

Da bi pokazao koliko može biti izazovno provoditi pravila, Brad Shuttleworth, Project Manager za lažne profile, napravio je mini eksperiment među novinarima kako bi oni sami ocijenili što je lažni profil na Facebooku, a što ne. Je li to samo netko tko se očito lažno predstavlja ili profil nečijeg kućnog ljubimca ili plišane igračke?

Prevarant ili tek tinejdžer?

Facebook definira lažne profile na dva načina: jedno su oni koji su krivo klasificirani (primjerice, riječ je o nečemu što bi trebalo biti Facebook stranica, a ne profil), a drugi su neželjeni profili koji se koriste zlonamjerno (za prijevare, spamanje). U prvom se slučaju profilima predlaže prenamjena profila, u drugom ih se ukida.

Idealno, nije potrebno ni jedno ni drugo, nego se osobama ili skriptama koji pokušavaju kreirati lažne profile to onemogućuje. Radi se to na razne načine: prate se obrasci ponašanja, IP adrese, mreže ili domene s kojih se kreiraju novi profili… Većina zlonamjernih radnji tu bude zaustavljena, a dobar dio netom nakon kreiranja.

Ponekad je teško zaključiti je li netko prevarant ili tek razigrani tinejdžer. Facebook

Što se tiče kompleksnijih lažnih profila, koji nisu zaustavljeni odmah na početku, njih je teže detektirati. Primjerice, netko tko želi provesti kakvu prijevaru, dodavat će velik broj ljudi kao prijatelje na ovoj društvenoj mreži. No, neke skupine ljudi slično se ponašaju, primjerice, tinejdžeri, pa to ne može biti jedini kriterij za detekciju sumnjivog ponašanja. Ta se razlika utvrđuje na način da se sumnjive profile traži dodatne informacije i slično.

Lako je ukloniti video, ali je li i isfiltriranu snimku snimke videa?

Nakon lažnih profila prelazimo na visoko ozbiljne prijetnje, poput terorističke propagande. Ovdje nema mjesta za pogreške, cilj je imati nultu stopu tolerancije na takav sadržaj. Ipak, i tu je izazov količina – dvije milijarde ljudi, više platformi, različiti jezici.

O tome su više govorili Nicola Bortignon, Senior Engineer Manager zadužen za sprječavanje zlostavljanja i uznemiravanja, te Namrata Bostrom, Product Manager za isto područje. Kako kažu, kad se problemu pristupi s više strana, lakše ga je riješiti, ali to ne znači da je i dalje – lako.

Teroristi postaju pametniji kako mi postajemo pametniji. Stoga je sve teže riješiti ovaj problem.

Na upit medija, osvrnuli su se na incident u Novom Zelandu, otvoreno govoreći o tome zašto je snimke masakra bilo teško ukloniti. Originalni video, odnosno prijenos uživo, uklonjen je nekoliko minuta nakon što je prijavljen ovoj društvenoj mreži (iako je to bilo 29 minuta nakon što je video krenuo online), ali izazov je bio ukloniti njegove nove inačice. Naravno, lakše je ukloniti isti video koji se ponovno učita, ali snimku ekrana na kojemu je taj video? Video na koji su dodani titlovi, emoji? To sve predstavlja izazov za strojno učenje.

Tu se koristi takozvani Media Matching, odnosno usporedba sadržaja ne bi li se vidjelo je li riječ o istom ili sličnom sadržaju. Izazov je “istrenirati” algoritam da uočava sličnosti poput čovjeka – jednostavno okretanje slike može ga zbuniti. Naravno, to je lako premostiti, ali neke druge intervencije u sadržaj nisu tako jednostavne. A za što bržu usporedbu sadržaja kreira se “banka” sadržaja koji je već prekršio uvjete korištenja, stoga se novi sporni sadržaji uspoređuju samo s njima, ne sa svim sadržajem ikad učitanim na društvenu mrežu.

Stroj je je nekada lako prevariti da dvije slike nisu “iste” – ranije je bilo dovoljno da se slika rotira, obrne, da se glavnom akteru ukloni pozadina, da se na nju stavi filter… Algoritam je bilo potrebno naučiti da na pojam “istoga” gleda više poput čovjeka, a ne stroja. Facebook

Zanimljivo je što izazov kod treniranja strojeva za prepoznavanje terorističkog sadržaja predstavljaju ograničeni podatci – terorističkih incidenata – kojih, u kontekstu svog ostalog sadržaja koji ova društvena mreža vidi, nema toliko puno, stoga je Facebook morao tražiti vanjske podatke. Jedna od suradnji je bila s Metropolitan policijom koja je ponudila razne video sadržaje koji su se koristili za treniranje algoritma.

Sporni sadržaj nije potrebno prijavljivati više puta

Nakon što smo se dotakli kompleksne teme zlostavljanja i uznemiravanja, na kraju su na red došle prijave sadržaja, kao i žalbe na uklanjanje prijavljenog sadržaja. O tom je procesu govorila više Sandi Conroy, Data Science Manager, koja je ujedno razbila i neke mitove.

Sporni sadržaj dovoljno je prijaviti samo jednom, iako postoji lažno vjerovanje da će se, ako se nešto prijavi puno puta, brže ukloniti.

Od zanimljivih podataka čulo se još i da ukupno 35.000 ljudi u Facebooku radi na sigurnosti te da se konstantno ulaže i u ljude i u tehnologiju. Moderatora sadržaja ima 15.000, iako se nije željelo govoriti o tome koliko ih radi direktno za Facebook, a koliko su vanjski izvođači (a nisu se spominjali ni uvjeti u kojima su pojedini vanjski izvođači radili).

Proaktivnost, a ne reaktivnost – što može Facebook naučiti od samog sebe?

Community Integrity tim zauzima cijeli jedan kat londonskog ureda Facebooka. Facebook

Govorilo se i o tome da nema budućnosti bez kombinacije i ljudske snage i snage strojeva, usprkos tome što tehnologija postaje sve bolja. Iako strojevi mogu obrađivati ogromnu količinu podataka u kratkom vremenu, ljudi su bolji u procjenjivanju nijansi, kulturalnom znanju, kontekstu i lokalnom jeziku.

Sveukupni dojam je da Facebook, posljednjih nekoliko godina, konačno ulaže znatno više napora na ovom području, no ne može se izbjeći i činjenica da se sa svim tim naporima, u ovolikom obujmu, trebalo krenuti daleko ranije. Sam pristup svim gore nabrojanim izazovima stavlja fokus na proaktivno djelovanje, dok sam Facebook, kao tvrtka, ostavlja dojam da na mnoge izazove djeluje reaktivno, odnosno tek nakon što na površinu isplivaju incidenti i skandali.

Možda bi sama tvrtka o tom pristupu mogla više učiti od vlastitih ljudi, poput osoba iz svog Community Integrity tima.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Startupi i poslovanje

Kako je Estonija postala “startup nacija”, može li to Hrvatska, kako – i kad?

Može li novoosnovana udruga Cro Startup ponoviti uspjeh koji je postigla Startup Estonia? Eve Peeterson iz te udruge ispričala je koje su promjene, inicijative i angažmani bili ključni za uspjeh.

Digitalni marketing

Na digitalno oglašavanje u Hrvatskoj u 2021. potrošeno 1,65 milijarde kuna, 75% otišlo Googleu i Meti

Na digitalno oglašavanje u Hrvatskoj u 2021. godini potrošeno je milijardu i 657 milijuna kuna, pokazalo je istraživanje digitalni AdEx koje su za HUDI (Hrvatsku udrugu digitalnih izdavača) proveli austrijska agencija Momentum i lokalni partner Ipsos.

DevDev

Rok trajanja programera: Možete li 57-godišnjaka zamisliti na razgovoru za posao frontend developera?

Možete li 57-godišnjaka zamisliti na razgovoru za posao frontend developera u nekoj domaćoj IT agenciji? Zavirili smo u raspravu o tome koliki je rok trajanja programera i upitali nekoliko njih, različitih razina iskustva i pristupa karijeri, može li se do mirovine biti "samo programer".

Što ste propustili

Startupi i poslovanje

Upoznajte 13 hrvatskih healthtech timova “Get Started in Health Innovation” programa

Pred vama je prva generacija jedinog programa u Hrvatskoj koji se sustavno posvetio podršci stručnjaka koji žele razvijati nešto u segmentu healthtecha. Njihova rješenja fokusirana su na razne probleme u zdravstvenom sustavu: od alata za efikasnije pružanje zdravstvene pomoći, ali i onih koji olakšavaju rad samih zdravstvenih djelatnika do rješenja koja i pacijentima omogućavaju jednostavnije pratiti svoje zdravstveno stanje.

Intervju

Kako je softverski inženjer s Kube našao svoju oazu u Microsoftovom razvojnom centru

Iz daleke Havane na Kubi, softverski inženjer Arnaldo Perez stigao je u Microsoftov razvojni centar u Srbiji. Kako, zašto, u kojem timu i što danas radi, kako se privikao na novo okruženje te što je naučio u zadnje četiri godine radeći u Microsoftu i regiji, saznali smo u intervjuu.

Nesortirano

Combisu nagrada Microsoft Partner of the Year 2022 u Hrvatskoj

Combis je osvojio prestižnu godišnju nagradu američke tehnološke kompanije Microsoft za Hrvatsku.

Novost

Huawei Apps UP natjecanje se vraća s nagradom od preko milijun dolara

Treću godinu zaredom Huawei bogatim fondom nagrađuje najbolje programere koji će se odvažiti na razvoj aplikacija za ekosustav Huawei mobilnih usluga.

Kultura 2.0

Prvo istraživanje o električnim romobilima u Hrvatskoj: 80 % ispitanika koristi ih umjesto auta kako bi brže stigli do cilja

Bolt je proveo prvo istraživanje o električnim romobilima u Hrvatskoj, a za Netokraciju ekskluzivno otkrivaju najzanimljivije podatke.

Startupi i poslovanje

Ovo su najinovativniji učenici, studenti i škole u Hrvatskoj koji su osvojili nagrade Digitalnog inkubatora

U velikoj završnici Digitalnog inkubatora by Hrvatski Telekom, u organizaciji Instituta za inovacije, održane su prezentacije najuspješnijih timova učenika i studenata i dodijeljene su im nagrade ukupnog novčanog fonda od 200.000 kuna. Evo kakve ideje i rješenja su predlagali...