Guranje AI agenata stvara sigurnosne probleme, ali i nove poslove – AI security leadova!

Nedavno istraživanje američkog ministarstva za energetiku upozorava da bi nagli rast AI podatkovnih centara mogao dodatno opteretiti elektroenergetske mreže, što bi moglo rezultirati kontroliranim povremenim isključenjima struje na istočnoj obali SAD-a. Iako nam te tehnologije uvelike olakšavaju život, jasno je kako razvoj i održavanje takvih sustava često mogu priuštiti samo najveći igrači, na što se osvrnuo i osnivač i direktor Robotiqa Darko Jovišić na Money Motionu.

On je istaknuo kako trendovi pokazuju da se industrija danas polako udaljava od ideje da jedan veliki model može riješiti sve probleme. Zbog toga sve veću pažnju dobivaju small language models – manji modeli trenirani za specifične zadatke.

U mnogim slučajevima oni mogu postići slične, a ponekad i bolje rezultate od velikih modela, ali uz znatno niže troškove. Tvrtkama to omogućuje bržu obradu podataka, lokalno pokretanje AI sustava i veću kontrolu nad podacima, bez stalnog oslanjanja na velike cloud platforme.

A s obzirom na to da sve više tvrtki danas nastoji integrirati AI automatizaciju u svoje poslovne procese, ključno pitanje postaje kako te sustave povezati s postojećom IT infrastrukturom, a pritom zadržati kontrolu nad podacima, troškovima i, možda najvažnije, sigurnošću. Ta nova razina autonomije umjetne inteligencije otvara i niz novih izazova, prije svega onih vezanih uz cyber sigurnost.

Više nije ključno poznavati korisnika, već agenta

Tradicionalna kibernetička sigurnost godinama se temeljila na jednostavnom principu: znati tko pristupa sustavu i što radi. U svijetu AI agenata taj princip više nije dovoljan zaključili su panelisti Kristian Kamber iz Zscalera, Davor Aničić iz Velebit AI-a, Milan Parat iz Hrvatske udruge banaka i Tomislav Vazdar iz Riskorie te naglasili kako organizacije sada moraju početi razmišljati o konceptu know your agent.

AI agenti danas mogu pretraživati interne baze podataka, pristupati CRM sustavima, analizirati dokumente ili automatski izvršavati određene poslovne zadatke. Takva autonomija otvara niz novih sigurnosnih pitanja.

Tvrtke moraju razumjeti kako njihovi AI sustavi funkcioniraju, koje podatke koriste i koje radnje mogu izvršavati unutar infrastrukture. To uključuje jasnu kontrolu pristupa podacima, definiranje pravila ponašanja AI agenata, ali i stalno praćenje njihovih aktivnosti. Poseban izazov predstavlja činjenica da mnoge organizacije danas ni ne znaju točno koji se AI alati koriste unutar njihovih sustava niti koje podatke ti alati obrađuju.

Panelisti su upozorili i da se s razvojem agentskih AI sustava mijenja i priroda cyber napada. Generativna umjetna inteligencija već se koristi za stvaranje uvjerljivih phishing poruka, deepfake identiteta i automatiziranih napada, a novi AI agenti mogu dodatno ubrzati taj proces. Takvi sustavi mogu autonomno istraživati potencijalne ranjivosti, prilagođavati napade i izvoditi ih brže nego što sigurnosni timovi mogu reagirati. Zbog toga kibernetička sigurnost i umjetna inteligencija danas postaju nerazdvojno povezani.

Organizacije koje uvode AI u svoje procese moraju paralelno razvijati i nove sigurnosne modele koji mogu pratiti ponašanje autonomnih sustava i spriječiti zlouporabe prije nego što do njih dođe.

AI stvara nove poslove

Svima nam je već dosta slušati kako će AI preuzeti sve naše poslove pa je bilo osvježavajuće čuti kako se barem u području cyber sigurnosti događa suprotan trend. Panelisti su istaknuli da se u mnogim velikim organizacijama već pojavljuju nove funkcije poput AI security leadova ili čak cijelih odjela za AI sigurnost.

Razlog je prilično logičan, klasični sigurnosni stručnjaci često nemaju duboko razumijevanje načina na koji funkcioniraju AI modeli, dok data science timovi nisu nužno stručnjaci za cyber sigurnost. Zato se sve češće formiraju interdisciplinarni timovi koji kombiniraju oba područja jer ako već uvodimo umjetnu inteligenciju u sustave, netko mora paziti da ona ne napravi više štete nego koristi.

Posebno je to vidljivo u sektorima poput financija i osiguranja, gdje je regulacija već vrlo stroga, a svaka nova tehnologija mora proći dodatne sigurnosne provjere. Umjetna inteligencija tako već ulazi u sigurnosne budžete velikih organizacija, a pitanja poput testiranja modela, zaštite od “jailbreak” napada ili kontrole pristupa AI sustavima postaju standardni dio sigurnosnih strategija, zaključili su govornici na panelu o revoluciji sigurnosnih aspekata AI agenata na ovogodišnjem Money Motionu.

AI regulacija kao dio strategije?

Dok se na jednom panelu govorilo o sigurnosnim rizicima AI agenata, drugi je otvorio pitanje koje će mnogim tvrtkama uskoro postati jednako važno: kako se snaći u europskim regulatornim pravilima. Na panelu o AI Actu odvjetnik Stefan Martinić, direktorica odjela za regulatorna pitanja i EU fondove u A1 Hrvatska Martina Dragičević i  direktor AI poslova u Infobipu Ervin Jagatić raspravljali su o tome kako će europski zakon promijeniti način na koji tvrtke razvijaju i koriste umjetnu inteligenciju.

Iako se mnogima diže kosa na glavi čim se spomene nova regulacija iz Bruxellesa, poruka panela bila je da stvari možda nisu toliko dramatične kako se na prvu čini. Kako je istaknuto u raspravi, strah velikim dijelom proizlazi iz nepoznavanja detalja zakona.

U financijskom sektoru, primjerice, AI Act se u praksi svodi na nekoliko ključnih pitanja koja određuju spada li neki sustav u kategoriju visokog rizika. Ako banka koristi umjetnu inteligenciju za procjenu kreditne sposobnosti ili kreditnog rejtinga klijenata, takav sustav smatra se visokorizičnim i podliježe strožim pravilima.

S druge strane, korištenje AI-ja za otkrivanje financijskih prijevara ne spada u tu kategoriju i dopušteno je bez dodatnih regulatornih zahtjeva. U sektoru osiguranja visokorizičnim se smatraju sustavi koji koriste umjetnu inteligenciju za procjenu rizika i određivanje cijene životnih ili zdravstvenih polica.

Sve ostalo, kako je Stefan naglasio na panelu, vrlo vjerojatno neće završiti u najstrožoj kategoriji regulacije. Zbog toga AI Akt ne bi trebalo promatrati samo kao birokratsku prepreku. Tvrtke koje na vrijeme uvedu jasne procese upravljanja AI sustavima od dokumentiranja modela i podataka do procjene rizika mogle bi upravo kroz usklađenost s regulacijom steći prednost na tržištu. O tome hoće li ovo biti kočnica ili gas europskim tvrtkama, svjedočit ćemo uskoro.