AIDWAS alat Mediatoolkita i FER-a online će pratiti incidente u svijetu

2 milijuna € vrijedan projekt Mediatoolkita i FER-a online će pratiti razne incidente i katastrofe u svijetu

Mediatoolkit, domaći scaleup poznat po platformi za praćenje online spominjanja, udružio se s FER-om u razvoju novog proizvoda. AIDWAS je osmišljen kao alat koji će olakšati ranu identifikaciju događaja koji su prijetnja za pojedinca, grupu ili društvo kako bi poboljšali globalnu sigurnost u online sferi, a time posljedično i u onoj opipljivoj.

Artificial Intelligence Disaster Warning System, skraćeno AIDWAS iliti “sustav za nadzor kibernetičkog prostora” pratit će na internetu sadržaje i objave koji se tiču različitih vrsta incidenata – od elementarnih nepogoda i prirodnih katastrofa do ljudskih katastrofa poput terorizma, ubojstava, eksplozija, nesreća, ali i neke manje događaje poput štrajkova, presuda, prosvjeda, ozljeda i sličnog.

Za razvoj takvog alata Mediatoolkitu će iznimno koristiti iskustva iz razvoja njihove poznate platforme dok će FER kroz svoj TakeLab, laboratorij za strojno učenje i obradu prirodnog jezika, sudjelovati u razvoju umjetne inteligencije kao dijela proizvoda. U razgovoru s Paškom Pajdekom, Mediatoolkitovim Head of Engineeringom, otkrili smo više o projektu koji je sufinanciran sredstvima iz Europske unije, a vrijednost mu iznosi nešto manje od 2 milijuna eura.

Jednostavan pregled prijetnji na razini cijelog svijeta

Za početak, zanimalo nas je saznati više o samom proizvodu i kako bi funkcionirao. Paško pojašnjava kako je alat zapravo spoj nekoliko različitih akcija u pozadini. Prva je prikupljanje velike količine javno dostupnih podataka s primarnim fokusom na informacije dostupne na internetu: u to spadaju vijesti s raznih portala i objave s društvenih platformi. Nakon što su ih prikupili slijedi faza čišćenja podataka od nerelevantnih informacija, a onda glavni dio – obrada.

Ostatak pročišćenih podataka usmjeravamo na algoritme za identifikaciju i ekstrakciju događaja koji filtrira samo one informacije koje sadrže neki od definiranih događaja. Tako od velikog šuma informacija na internetu dolazimo do preciznog pregleda potencijalnih ili realnih prijetnji. Konačne informacije koje AIDWAS pruža su: koji je događaj u pitanju, gdje se odvija, tko su zahvaćene strane, postoje li eventualne žrtve i slično.

Nadzirati čitav vidljivi Internet (sa željom da se to proširi i na Deep Web) nije mala stvar pogotovo ne u vrijeme kada imamo skoro dvije aktivne prijetnje: pandemiju u silaznoj putanji i rat u Ukrajini u uzlaznoj. Foto: Mediatoolkit

Zbog svega navedenog, dodaje, alat će moći dati jednostavan pregled prijetnji na razini cijelog svijeta, s prilagodbom prema krajnjem korisniku koja uključuje razne filtracije – po lokaciji, tipu događaja, po snazi prijetnje.

Kako bi povećali vrijednost koju će AIDWAS pružati u planu je i sustav za pravovremeno obavještavanje koji bi korisnicima poslao obavijest u stvarnom vremenu, točnije u trenu kada se dogodi neki događaj koji zadovoljava postavljene filtere korisnika.

“Gmizanjem” po internetu do 4000 objava u sekundi

Okosnica AIDWAS proizvoda je brzo prikupljanje i obrada podataka s interneta – zato je bitno pojasniti kako se uopće prati internet? Ako već niste naletjeli na termin crawling u tehnološkom žargonu nema boljeg primjera da naučite što je to od Mediatoolkita. Paško crawlere ukratko definira kao automatizirane prikupljače informacija s interneta. Slikovito rečeno, njihov zadatak je da doslovno gmižu po internetu i konstantno provjeravaju promjene na stranici koju su zapamtili.

Oni čitaju HTML kôd neke javne internet stranice i iz njega izvuku sve relevantne informacije poput tekstova, linkova, slika i sl. te posjete eventualne konkretne linkove s novim informacijama i iz njih izvlače nove vijesti.

Mediatoolkit tim je načinom izgradio bazu od preko 100 milijuna web stranica koje crawleri posjećuju u intervalima od svake dvije minute pa do svako par sati – ovisno o količini novih stvari koju neka stranica producira. Uz to, prikupljaju i objave s većine glavnih društvenih mreža poput Facebooka, Twitter, Instagrama, YouTubea i drugih.

Tim procesima prikupimo preko 4000 novih objava u sekundi iz kojih izvlačimo potrebne informacije koje dostavljamo korisnicima.

Kroz godine razvoja Mediatoolkitovci su prikupili veliku količinu tehničkog znanja u području automatiziranog prikupljanja sadržaja, a kojeg će iskoristiti za izradu specijaliziranih crawlera za ciljani sadržaj AIDWAS-a.

Kralježnica sustava bit će umjetna inteligencija

Uz širenje pokrivenosti relevantnih izvora koje prate, Mediatoolkit i TakeLab mnogo će pozornosti posvetiti i optimiziranju algoritama strojnog učenja kojima će nastojati uhvatiti sve relevantne informacije uz visoku razinu točnosti.

Ako bismo i okvirno procijenili enorman broj podataka koje Mediatoolkit dnevno “probavi” jasno nam je koliko je za AIDWAS, koji će pratiti čitav internet, tim više važno da se relevantne i točne informacije dobro filtriraju. Zato je jedan od ključnih dijelova razvoja ovog proizvoda komponenta zadužena za izvlačenje evenata od interesa.

Za razvoj te komponente je zadužen FER-ov laboratorij TakeLab na čelu s dr. Janom Šnajderom, jednim od glavnih autoriteta na području umjetne inteligencije i obrade prirodnog jezika u Hrvatskoj, ali i šire, ističe Paško.

Algoritmima umjetne inteligencije kreirat će se komponenta koja će moći prepoznati objave koje spominju evente od definiranog interesa u šumi informacija koju crawleri prikupljaju, kao i izvući najbitnije informacije o eventu bez manualnog rada i puno ljudske intervencije.

A kome bi AIDWAS bio najviše od koristi?

Spominjanje Ukrajine naglo se odrazilo i u sentimentu otkako je počeo rat. Foto: Mediatoolkit

Paško navodi kako je potencijalna primjena AIDWAS-a vrlo široka, ali su se ipak fokusirali na organizacije kojima su obavijesti o prijetnjama na internacionalnoj razini nužne u stvarnom vremenu.

Konkretnije, to su primjerice organizacije usmjerene na nadzor rizičnih događaja na vlastitom teritoriju ali i u susjednim državama, poput vojske. Uz njih, velik broj nevladinih udruga bi mogle koristiti alat za lakše obavještavanje i analizu pojedinih rizičnih događaja. Njihova potreba za detekcijom i obavještavanjem svakako nije novost. Međutim, zaposlenici u tim organizacijama nerijetko “ručno” istražuju i čitaju razne domaće i strane portale i društvene mreže u potrazi za događajima od interesa. AIDWAS drastično smanjuje potrebno vrijeme za dobivanje relevantnih informacija i povećanje efikasnosti organizacija i omogućuje njihovim zaposlenicima da svoje vrijeme ulože u napredak usluga, a ne manualni rad.

Projekt bi mogao biti tema i nekoliko znanstvenih radova

Osim ciljanih korisnika ovog alata, velik izvor znanja i iskustava od projekta imat će i njegovi pokretači. Projektu je iz Mediatoolkita potpuno ili djelomično posvećeno 15-ak stručnjaka. Najviše njih dolazi iz Engineering i Product odjela, ali uključeni su i stručnjaci za istraživanje potreba tržišta i potencijalnih korisnika.

Uz vrhunske inženjere koji na tome rade svakodnevno nadograđujemo znanje, stječemo nova iskustva i podižemo kvalitetu svih naših rješenja, kako AIDWAS-a, tako i Mediatoolkita.

S FER-ove strane, AIDWAS bi mogao upogoniti i nekoliko znanstvenih radova, a Paško ne krije ponos jednog alumnija zbog suradnje.

Vrijedi napomenuti da će projekt vjerojatno producirati nekoliko znanstvenih radova, a možda čak i doktorata na temu ekstrakcije relevantnih događaja iz tekstova prikupljenih crawlanjem online izvora. Ponosni smo što surađujemo s FER-om jer nam dio kolega dolazi s tog fakulteta, a i kao bivši diplomant TakeLaba, osobno mi je drago što je došlo do partnerstva, koje je prava uspješna priča suradnje između znanstvene zajednice i alumnija koji su zakoračili u poslovne vode.

Molimo da prihvatite sve kolačiće kako biste mogli vidjeti ovaj sadržaj

Prototip planiraju imati do kraja 2022.

Kad su u pitanju izazovi rada na ovakvom projektu, jedan od većih će svakako biti razvoj modela koji će moći identificirati događaje na više jezika. Za početak im je u planu osigurati mogućnost izvlačenja znanja iz vijesti na engleskom i hrvatskom, a kasnije i na najvećim europskim jezicima.

Stvar koja nije po sebi lakša, ali s kojom smo upoznatiji je cijela problematika prikupljanja vijesti u realnom vremenu, kao i dizajn arhitekture sustava da bi podržao budući razvoj.

Ipak, Paško dodaje kako su kroz godine razvoja u Mediatoolkitu usvojili veliku količinu tehničkog znanja u području automatiziranog prikupljanja sadržaja pa vjeruje da će i u tom slučaju rad i trud pokazati svoje.

Na proizvodu smo krenuli raditi u Q4 2020. Razvoj je doista kompleksan, no sretan sam što mogu reći da smo daleko dogurali i prototip planiramo imati do kraja ove godine.

Sukladno članku 94. Zakona o elektroničkim medijima, komentiranje članaka na Netokraciji dopušteno je samo korisnicima koji ostave svoje ime i prezime te mail adresu i prihvate pravila ponašanja.

Pravila ponašanja

Na Netokraciji za vas stvaramo kvalitetan, autorski potpisan sadržaj i zaista se veselimo vašim kvalitetnim, kontruktivnim komentarima. Poštujmo stoga jedni druge prilikom komentiranja, kao i Zakon, držeći se sljedećih pravila ponašanja:

  • Ne budite 💩: Nema vrijeđanja, diskriminiranja, ni psovanja (osim ako nije osobni izričaj, ali onda neka psovka bude općenita, a ne usmjerena prema nekome). Također, upoznajte se sa stavkom 2. članka 94. Zakona o elektroničkim medijima prije no što ostavite komentar.
  • Samo kvalitetna rasprava, manje trolanja: Ne morate se ni sa kim slagati, ali budite konstruktivni i doprinesite raspravi! Svako trolanje, flameanje, koliko god "plesalo" na granici, leti van.
  • Imenom i prezimenom, nismo Anonymous 👤: Autor sadržaja stoji iza svog sadržaja, stoga stojite i vi iza svog komentara. Koristimo ime i prezime te pravu email adresu.

Kako koristimo podatke koje ostavljate? Bacite oko na našu izjavu o privatnosti.

Sve ostale komentare ćemo s guštom spaliti, jer ne zaslužuju svoje mjesto na internetu.

Odgovori

Tvoja e-mail adresa neće biti objavljena.

Popularno

Prikaz

Native Teams u Hrvatskoj: Kako olakšavaju brigu o porezima, doprinosima i zapošljavanju u inozemstvu?

Native Teams, platforma za freelancere i digitalno plaćanje koju globalno koristi gotovo sto tisuća ljudi, u Hrvatsku je stigla prije dvije godine. Otkrivamo kako im je izgledalo širenje na regiju te što su u međuvremenu nova uveli.

Zabava i zanimljivosti

Hrvati napokon mogu glasati elektronski, i to zahvaljujući Samu Altmanu (i botovima)

Već niz godina naklapa se i navija za uvođenje elektronskog glasanja u Hrvatskoj. Ako nismo tijekom pandemije koronavirusa, kad ćemo, pitaju se mnogi. Ova superizborna godina, u kojoj nas čekaju parlamentarni, europski i predsjednički izbori jedina je još sila (ne)prilika koja bi mogla nagnati Državno izborno povjerenstvo da poduzmu mjere po tom pitanju.

Tvrtke i poslovanje

Znate li koristiti svoj “mozak izvan mozga”?

Proces u kojem naš mozak prati samog sebe i procjenjuje koliko mu dobro ide radimo svakodnevno, s više ili manje uspjeha. Riječ je o metakogniciji koja utječe na svaki aspekt našeg ponašanja - od definiranja životnih ciljeva i kako do njih doći do procjenjivanja vlastitih osjetila.

Što ste propustili

Startupi

Zagrebački startup Farseer: Kod nas zime nema, spremni smo razvaliti područje financijskog planiranja

Zagrebačka tvrtka Farseer niže poslovne uspjehe jedan za drugim. Nakon strelovitog rasta, prošlogodišnje investicije te uspješnih suradnji s nekim od najvećih regionalnih i globalnih tvrtki, ovaj softver za financijsko planiranje nedavno je dospio u društvo najboljih svjetskih alata u svojoj kategoriji.

Tvrtke i poslovanje

Infobip Shift Miami: Drugo izdanje obilježilo više partnera, izlagača, govornika, a i posjetitelja!

Povratak hrvatske konferencije u SAD ispunio je sva očekivanja organizatora te dodatno učvrstio Infobipovu poziciju na izazovnom američkom tržištu

Intervju

Svjetski “kamp za analitičare” stiže u Split: “Uvijek ćemo trebati ljude koji mogu razumjeti ponašanje ljudi online…”

MeasureCamp je sve samo ne obična konferencija, a možda joj je upravo to priskrbilo priznat status u svijetu analitike, s 140+ događanja u više od 35 gradova. U razgovoru s analitičkim veteranom i organizatorom MeasureCampa otkrivamo više o splitskom izdanju - i analitičkim tekovinama.

Izvještaj

Metaverse nije mrtav. Njegov zli brat iz Mete možda jest…

Rebrendingom u Metu, Facebook je pokušao preuzeti vlasništvo nad pojmom metaversea, no svjedoci smo koliko mu je to uspjelo. Metaverse više nije u hypeu kao nekad, ali oni koji su se nastavili baviti njime - znaju da priča tek počinje.

YouTube i digitalni video

Slavimo 19 godina prvog YouTube videa uz popis Hrvata s najviše pretplatnika

Donosimo vam popis najpopularnijih hrvatskih YouTubera i šarolikost ovog popisa sigurno niste očekivali.

Programiranje

Zbog prvog AI programera i “Shrimp Jesusa” AI sustavi se čine sve manje inteligentnima

U ovoj epizodi donosimo vam primjere loše primjene umjetne inteligencije: od smotanih AI programera i (ne)nosive tehnologije do nevjerojatnih religijskih ikona.