Fakultet strojarstva i brodogradnje uputio je poziv svim zainteresiranima koji žele komunicirati s PLEA virtualnim bićem da posjete interakcijsko mjesto ispred Laboratorija za projektiranje izradbenih i montažnih sustava (A-408, sjeverna zgrada, FSB).
Dovoljno je da stanete ispred PLEA-e prikazane na ekranu i nasmiješite se.
PLEA je virtualno biće koje živi u MetaVerse kibernetičkom prostoru i može posjećivati različite okoline u realnom svijetu kroz interakcijska sučelja. Interakcijska sučelja mogu biti AR i VR naočale, svjetlo projicirano projektorom, ekran mobitela, računalo, pametni TV i sl. Dvosmjernu neverbalnu komunikaciju s posjetiteljima PLEA temelji na percipiranim emocijama i multimodalnom pristupu gdje analizira izražaje lica, pokrete tijela te glas osobe. PLEA komunicira prikazujući vlastite emocije na licu.
Projekt zapažen i u svijetu
Plea je dio projekta AMICROC (Afektivna multimodalna interakcija temeljena na konstruiranoj robotskoj spoznaji), financiranog od strane Hrvatske zaklade za znanost. Projekt je dogovoren na pet godina i upravo završava njegova prva godina.
Cilj projekta je bio razviti afektivnog virtualnog agenta PLEA-u, koji ima mogućnost posjećivati različite okoline i korisnike, ako se pozove. U prvoj godini projekta, njegov voditelj doc.dr.sc. Tomislav Stipančić je zajedno sa svojim tročlanim timom (Leon Koren, Andrija Ričko) izradio prototip afektivne humanoidne robotske glave PLEA, koja komunicira koristeći neverbalne komunikacijske znakove tumačeći ljudske emocije.
PLEA upravljački algoritmi su temeljeni na više-modalnoj interakciji te metodologiji strojnog i dubokog učenja. PLEA analizira izražaje lica, pokrete tijela te akustičke i lingvističke značajke govora kako bi stvorila hipoteze o trenutnom emocionalnom stanju osobe. Koristeći tehnike vizualizacije informacija PLEA pomoću malog svjetlosnog projektora smještenog u vratu robota potom generira izražaje lica koji se prikazuju osobi. Na taj je način omogućena dvosmjerna komunikacija robota i osobe u interakciji.
Afektivni robot PLEA je proveo četiri mjeseca na Art & Ai Festivalu u Leicesteru gdje je ostvario zapažen uspjeh. Ugledni DailyArt Magazine je instalaciju tima s FSB-a, uvrstio je među najbolje Art instalacije temeljene na umjetnoj inteligenciji u Velikoj Britaniji za 2021. godinu.
PLEA robot je trenutno smješten na De Montfort sveučilištu u Leicesteru gdje je tim s FSB-a nastavio suradnju s timom Instituta za kreativne tehnologije gdje se razvijaju upravljački mehanizmi za interakciju korisnika sa sustavom kod različitih primjena. Budući da postoji veliki interes, u pripremi je plan sudjelovanja robota u sklopu više stranih događanja u 2022. godini.
Cilj i planovi za budućnost
Drugo interakcijsko sučelje je kao veliki SmartTV postavljeno na zid ispred spomenutog laboratorija na FSB-u. Svi zainteresirani mogu doći pred ekran i ostvariti neverbalnu komunikaciju s PLEA-om. To znači da ako se nasmiješite, namrštite ili ste tužni, PLEA će to znati prepoznati i reagirati sa svojim emocionalnim odgovorom. Plan je da instalacija bude dostupna zainteresiranim studentima i javnosti trajno budući da je interakcija sustava s korisnicima u sklopu različitih okolina u fokusu projekta. Kroz interakciju se prikupljaju podaci u vidu interakcijskih lanaca koji se potom koriste prilikom poboljšavanja rada upravljačkih modela virtualnog agenta temeljenih na strojnom i dubokom učenju.
Osim u sklopu primjena kroz robota u stvarnoj okolini, u daljnjem tijeku realizacije projekta očekuje se ostvarivanje uzajamnog razumijevanja i interakcije čovjeka i virtualnog agenta u sklopu virtualne te proširene stvarnosti koja će biti realizirana koristeći VR te AR tehnologiju. Osim toga, daljnja istraživanja se kreću ka prilagodbi ponašanja virtualnog agenta u sklopu različitih primjena (npr. kod komunikacije sustava sa starijim osobama te ranjivim skupinama ljudi ili kod osoba koje su zbog prirode svojeg posla izolirane, npr. astronauti).
