Kada ljudi neformalno komuniciraju s AI chatbotovima, njihov opušteni ton može smanjiti točnost razumijevanja poruka od strane AI chatbota, pokazuje novo istraživanje znanstvenika iz Amazona.
Znanstvenici Fulei Zhang i Zhou Yu iz Amazona analizirali su način na koji korisnici razgovaraju s ljudskim agentima u usporedbi s chatbotovima temeljenima na velikim jezičnim modelima (LLM). Koristeći model Claude 3.5 Sonnet, procijenili su pristojnost, tečnost i raznolikost vokabulara. Utvrdili su da su korisnici znatno manje formalni i pristojni kada razgovaraju s chatbotovima. Prema rezultatima dobivenim Claudeom, komunikacija s ljudskim agentima bila je 14,5 posto pristojnija i formalnija, 5,3 posto tečnija i 1,4 posto raznolikija u rječniku.
Kako korisnici doživljavaju chatbotove?
Korisnici prilagođavaju svoj jezični stil u razgovorima s LLM-ovima, stvarajući poruke koje su kraće, izravnije, manje formalne i gramatički jednostavnije. To ponašanje vjerojatno proizlazi iz korisničkog shvaćanja chatbotova kao manje društveno osjetljivih ili manje sposobnih za nijansirano tumačenje, napisali su autori u istraživanju koje je objavljeno na preprint serveru arXiv i koje čeka recenzije.
U drugoj fazi, Zhang i Yu obučili su model Mistral 7B na 13.000 razgovora između ljudi, a zatim ga testirali na 1357 interakcija korisnika s chatbotovima. Budući da je Mistral bio treniran na ljudskim dijalozima, često je pogrešno tumačio korisničke namjere u razgovorima s AI-em, zbog ranije navedenih razlika.
Pokušaji poboljšanja razumijevanja koji su koristili Claude AI za stilsku preoblikovanje korisničkih poruka u "minimalnom" ili "obogaćenom" obliku, zapravo su smanjili točnost, za 2,6 posto odnosno 1,8 posto. Kombiniranjem oba pristupa točnost se poboljšala za 2,9 posto, što ukazuje na važnost prilagodbe stila komunikacije.
Noah Giansiracusa s Sveučilišta Bentley, koji nije sudjelovao u istraživanju, smatra da različit ton prema chatbotovima ne treba shvaćati negativno. Rekao bih da je dobro kada ljudi znaju da razgovaraju s botovima i prilagođavaju svoje ponašanje u skladu s tim, rekao je za New Scientist Giansiracusa.
