Želite li chatbota koji vas razumije treba zasukati rukave – evo kako to radi Infobip!

Ako ste ikada gledali emisiju Top Gear, sjećate se da gotovo niti jedan auto nema dobar sustav prepoznavanja glasa i zbog toga su ti sustavi uvijek predmet ruganja gotovo cijele industrije. S druge strane, Alexa i Siri sve razumiju, vaš email klijent zna što je spam, a što je prava poruka i čak nadopunjuje vaše rečenice. Zašto neka računala razumiju naš ljudski jezik, a neka ne?

O detaljima razvoja sustava za prepoznavanje prirodnog ljudskog govora (Natural Language Processing ili NLP) imao sam priliku razgovarati s Danijelom Temrazom iz Infobipa, softverskim inženjerom koji razumije sve detalje i kompromise koji ulaze u razvoj ovakvih sustava. No, krenimo ispočetka.

Što je NLP?

Najjednostavnije rečeno, NLP je tehnologija koja omogućava računalima razumijevanje ljudskog jezika, ističe Danijel. Ona se nalazi u mnoštvu aplikacija, servisa i programa, a možda je i najčešća u chatbotovima i digitalnim asistentima. Također, jedna je od najbrže rastućih tehnologija danas, jer gotovo svi softveri polako preuzimaju barem neki vid prepoznavanja govora i teksta korisnika te strojnog učenja.

Danijel mi kaže kako i dan danas imamo svojevrsni kompromis u ovoj tehnologiji između jednostavnijih i kompleksnih modela razumijevanja, jer još uvijek ne možemo imati “savršen NLP”:

S jednostavnijim modelima dobivamo robusnost i interpretabilnost. Model se dobro nosi s većim varijacijama u podacima, a rezultate je lakše objasniti. Sa složenijim modelima možemo rješavati kompleksnije probleme, ali onda tipično gubimo na interpretabilnosti modela. Također, složeniji modeli tipično zahtijevaju i veće količine podataka koje je potrebno ručno označiti te su podložniji raditi lošije na novim podacima koji „značajnije odstupaju“ od onih koje je model vidio prilikom učenja.

Danas je na chatbotovima koji komuniciraju s krajnjim korisnicima lakše raditi jer postoji mnogo dostupnih alata koji vam daju praktički pa ključ u ruke. Iako takvi alati omogućavaju brz takozvani time-to-market, odnosno kratak proces od ideje do realizacije, nijedan alat nije savršen i svaki dolazi sa svojim setom kompromisa.

Infobip je, pak, razvio svoje SaaS rješenje za izgradnju chatbotova – Answers. Ono uključuje vlastitu NLP i machine learning tehnologiju te kompletnu platformu za izradu funkcionalnih chatbotova.

Razgovor s ljudima nije lak ni nama samima

Koliko god tehnologija prepoznavanja naših riječi bila napredna i brzo se razvijala, siguran sam kako će svatko od nas reći da razgovor s chatbotovima nikada nije baš najugodnije iskustvo. Danijel se šali kako je predviđanje načina na koje će korisnici razgovarati sa chatbotovima prava umjetnost sama za sebe. Neki korisnici jednostavno misle da je chatbot prava osoba te očekuju iskustvo razgovora sa stvarnom osobom. Ipak, kaže kako jednostavno nije moguće predvidjeti svaki mogući korisnički upit.

Danijel kaže kako je temeljna ideja dobrog korisničkog iskustva zapravo izvući što je moguće više informacija od korisnikove poruke – sa što manje pitanja. Također, za dobro korisničko iskustvo nužan je i solidan mehanizam predaje konverzacije ljudskom agentu u situacijama kada chatbot ne uspijeva riješiti upit. Uz to, ističe i neke od glavnih izazova s kojima se susreću prilikom razvoja chatbota: 

Najveći izazov je u tome što klijenti najčešće nemaju uopće podatke koje bi mogli iskoristiti za izgradnju chatbota, posebice ako je riječ o „egzotičnom“ jeziku i nekakvoj specijaliziranoj domeni. Očekivanja klijenata znaju biti da bi htjeli Chatbota treniranog sa 10 rečenica koji razumije ljudski govor, što naravno nije moguće. Upravljanje očekivanjima, edukacija svih stakeholdera i dobra komunikacija je ključna za uspjeh projekta.

Kada se dogode ovakve stvari, potrebno je mnogo strpljenja od strane tvrtke koja razvija chatbota i klijenta, i naravno dosta toga ovisi o tome koliko zahtjevan sustav se traži.

Što više podataka, bolje prepoznavanje

Najveća snaga dobrog NLP sustava su podaci kojima raspolaže. Primjerice, aplikacija SignAll pomoću velike baze može prepoznati znakovni jezik i pretvoriti ga u tekst. U pravilu, što više materijala kroz koje chatbot ili asistent može proći – to bolje.

Danijel mi kaže kako je proces prikupljanja podataka za NLP sustave moguće podijeliti u dvije faze: inicijalnu, u kojoj se razvija sustav (chatbot), i produkcijsku, koja se odvija nakon što je sustav “upogonjen”.

Inicijalna faza

Nažalost, većina klijenata u inicijalnoj fazi nema svoje podatke, a bez kojih nije moguće osnažiti chatbota. Za rješenje ovog problema Infobip nudi dvije opcije – vlastitu rastuću bazu skupova podataka koja može biti korištena u slučaju poznatih jezika, odnosno domena te crowdsourcing podataka:

Možemo crowdsourceati podatke za klijenta. Naime, moguće je kupiti podatke iz određene regije, za neki jezik, za neku demografsku skupinu, domenu itd. Postoje kompanije specijalizirane za crowdsourcing podataka gdje vam oni osiguraju tim ljudi koji će generirati dataset na temelju vaših preferencija. Infobip ima globalne partnerske suradnje s nekoliko takvih kompanija.

Produkcijska faza

U produkcijskoj fazi možemo imati obrnuti problem, kaže Danijel, odnosno previše podataka koje je potrebno ručno označiti za daljnje poboljšavanje chatbota:

Ovdje nam pomažu tehnike aktivnog učenja gdje sam sustav korisniku predlaže minimalni skup podataka koje je potrebno označiti kako bi se chatbot poboljšao. Infobip razvija vlastito rješenje koje prati ponašanje chatbota u stvarnom vremenu i smanjuje manualni posao potreban da se chatbot trenira novim podacima.

Snaga Infobipa za svijet korisničke podrške

Infobip je svoje Answers rješenje, unutar kojeg se primjenjuje NLP tehnologija, razvio za segmente korisničke podrške. Danijel mi kaže kako je njihov cilj postići globalnu adaptaciju vlastitog chatbot rješenja koje u isto vrijeme rješava probleme krajnjim korisnicima, ali i smanje zahtjeve za ljudskim resursima u sektoru korisničke podrške.

To ne znači da ćete uskoro, umjesto s agentom korisničke podrške na kojeg vičete kada neka usluga telekoma ne radi, razgovarati sa chatbotom, ali znači da će u sve više slučajeva chatbotovi i drugi sustavi strojnog učenja moći prepoznati što vi želite reći i biti na “prvoj crti” podrške – a one probleme koje oni ne razumiju i dalje će preuzimati agenti.