AI piše više koda nego ikad, a software ne razvijamo brže

Malo je reći da se suosnivač i izvršni direktor Neuralaba te naš kolumnist Krešimir Končić, vratio s Infobip Shifta pun dojmova.

Prvi Shift Think Thank okupio je ljude iz industrije kako bi se raspravljalo o aktualnom stanju AI-ja i razvoju softvera. Tematskih dijelova bilo je nekoliko pa se tako pričalo o tome što LLM-ovi danas mogu, gdje još uvijek zapinju i kako se njihova primjena mijenja iz jednog tima u drugi.

Krešimir je dio tih dojmova podijelio i na LinkedInu, a mi smo ga odlučili dodatno “izrešetati” kroz nekoliko pitanja. Krešimira smo najprije pitali zašto, unatoč tome što gotovo svi softverski timovi eksperimentiraju s AI-jem, još uvijek rijetki prepuštaju AI agentima samostalan rad na produkcijskom kodu te što nam taj jaz između eksperimentiranja i stvarne primjene govori o utjecaju AI-ja na razvoj softvera?

Gdje završava autonomija AI-ja?

Problem je što se ta implementacijska granica danas određuje usred poprilično glasnog AI hypea. Ljudi slušaju paneliste o superinteligenciji koja će autonomno liječiti rak, stvarati software on the fly ili voditi kompletan sales pipeline, a onda u ponedjeljak dođu na posao i primijete da imaju više prljavog veša nego prošli tjedan.

Zato imamo zbunjenost, stres, psihozu i ishitrene timske reakcije. Neki na AI psihozu odgovaraju strogim kontroliranjem LLM-a, drugi ih puštaju dublje u projekt kako bi eksperimentirali, a treći nastavljaju raditi po starom. Budući da software nije uniformno polje, sve tri reakcije imaju smisla:

Tako da nema razloga očekivati da će utjecaj LLM-ova biti homogen kroz cijelu branšu. Ono čega se više bojim jest da će neki noviji timovi overindexati na LLM kao tehnologiju i pritom zanemariti temeljni posao software razvoja, a to je kako izgraditi teoriju sustava, a onda tu istu teoriju godinama održavati, nadograđivati i braniti od promjena koje udaraju izvana.

Ne živimo samo u AI hypeu, već u kolektivnoj amneziji

AI metrike produktivnosti poput broja isporučenih featurea, linija koda ili potrošenih tokena, besmislene su, a bile su i prije AI-ja, ističe Krešo. Cijelo polje produkcije softwarea oduvijek je lako mjerilo output, ali puno je teže bilo izmjeriti što je taj isti rad napravio korisničkom iskustvu, aplikaciji, prihodima ili troškovima:

Problem je i u atribuciji uspjeha. Ako neki feature donese vrijednost, teško je odrediti tko ju je zapravo stvorio dizajner, PM, copywriter ili developer. Atribucija utjecaja dobrim je dijelom politička odluka tima, pa se puno lakše uhvatiti za nešto što se može uredno izbrojati.

Kolektivna amnezija još je opasnija kada zaboravimo da 60% do 80% IT aktivnosti odlazi na održavanje, unapređenje i nadogradnju postojećih sustava. I tu logika “više je bolje” osobito dolazi do izražaja ističe Krešimir:

Svaka nova funkcija, dependency ili dodatnih tisuću linija koda postaje nešto što netko poslije mora razumjeti, testirati, održavati i jednog dana ukloniti. Alan Cooper ima onu poznatu izjavu da je programski kod teret, a ne vrijednost organizacije, i mislim da će IT industrija u narednih par godina nanovo otkrivati pravo značenje te poslovice.

AI ne radi jednako dobro u svakom zadatku

Jedan od razloga zbog kojih je teško govoriti o širokoj i sustavnoj implementaciji AI-ja u software developmentu jest ono što Krešimir naziva speckled intelligence, odnosno pjegava inteligencija. Koncept koristi kako bi razlikovao komplicirane zadatke, koje možemo modelirati i za njih relativno predvidjeti rizik, od kompleksnih zadataka koji ovise o kontekstu, interpretaciji, politici i okolnostima koje se stalno mijenjaju:

Komplicirani dijelovi posla mogu biti užasno teški, ali pravila postoje i dovoljno su stabilna da ih možemo optimizirati ili automatizirati. Kompleksni dijelovi zadatka ovise o zajedničkoj interpretaciji, politici, timingu i kontekstu koji se stalno mijenja.

Zbog toga se, smatra Krešimir, AI može pokazati vrlo učinkovitim u pojedinim dijelovima posla, dok će drugi ostati izvan njegovog dosega. Problem pritom nije nužno u ljudima i njihovoj sposobnosti da koriste AI, nego u tome što modeli rade na temelju već zabilježenih obrazaca, dok kompleksni poslovi neprestano stvaraju nov i nepredvidiv kontekst:

To je taj moment kada vam agent automatizira polovicu inboxa, a onu drugu polovicu koju ne zna ili ne smije taknuti jest točno mjesto gdje se nalazi prava vrijednost posla.

Zato Krešimir ne očekuje univerzalno pravilo za primjenu AI-ja. Dio posla može se automatizirati, modelirati ili prepustiti agentima, ali će ta primjena, kako kaže, ostati:

Točkasta, heterogena, nejednaka i specifična za svaki task i svaki tim.

Gdje leži prava prednost AI-ja?

AI je trebao pojednostaviti dio white-collar posla, no Krešimir upozorava na paradoks prema kojem kada uklonimo ograničenje u proizvodnji sadržaja i rada, ne nestaje nužno usko grlo, nego se on samo seli nizvodno. Uz to, problem nastaje kada LLM može proizvesti uvjerljiv tekst puno brže nego što ga ljudi mogu pročitati i provjeriti:

Stvorili smo iluziju da je usko grlo nestalo, a to onda stvara downstream problem.

Krešimir kao primjer navodi RFP dokumente koji su od nekoliko stranica postali prave male novele, često bez provjere klijenta i s međusobno proturječnim zaključcima. Zbog toga AI više nije samo pitanje tehnologije, nego i pitanje poslovnog bontona i kulture rada.

Tu se ponovno vraća na pjegavu inteligenciju gdje prednost neće nužno imati oni koji koriste najviše AI alata, nego oni koji znaju kada koristiti određeni model i kada se osloniti na ljudski dizajn, inženjerstvo, originalni sadržaj i razumijevanje konteksta.

Pravu prednost treba tražiti u dizajnu, inženjerstvu, originalnom sadržaju, dubokom razumijevanju okoliša i stvarima koje su izvan alata, a ta dobra frikcija nikada nije nestala.

AI ubrzava kod, ali ne nužno i software

O AI-ju se danas često govori kao glavnom razlogu krize u IT-ju, no Krešimir upozorava da ipak nije tako jednostavno. Uz AI treba uzeti u obzir i preveliko zapošljavanje tijekom covida, kasnije otkaze, kamatne stope, inflaciju i rezanje budžeta. Istovremeno, sve je više podataka koji pokazuju da AI ubrzava pojedine dijelove razvoja, ali ne nužno cijeli proizvodni lanac.

Jedan od NBER radova koje navodi pokazuje upravo taj nesrazmjer. Kod najnaprednijih agenata broj commitova raste puno brže od broja stvarnih releaseova. AI tako može dramatično ubrzati sintezu koda, dok review, testiranje, integracija i QA ostaju ljudski posao.

Što više ubrzavamo sintezu koda, to review, integracija, testiranje i release postaju relativno važniji bottleneck.

Sličan se problem, kaže Krešimir, pojavljivao i tijekom Shift Think Tanka. Neki developeri govorili su da više ne žele upravljati “krdom agenata”, nego se vratiti pisanju koda. Ako se usko grlo samo premjestilo s proizvodnje na provjeru, pitanje je koliko smo zapravo dobili.

Krešimir tako ne očekuje nužno klasičan skok produktivnosti. AI bi mogao prije svega omogućiti razvoj složenijeg softwarea, ali i proizvoda koji bez AI-ja možda uopće ne bi nastali, zaključuje Krešimir:

Pitanje nije je li AI neki software tim učinio produktivnijim, već omogućuje li AI software timovima bolja i nova rješenja koja ostalim vertikalama olakšavaju život.

Krešimir objavljuje knjigu!

Prije godinu dana pitali smo se je li AI tržište zapravo jedan veliki balon koji će prije ili kasnije morati puknuti. Od tada se puno toga promijenilo, a sada imamo priliku provjeriti koliko smo tada bili u pravu.