Umjetna inteligencija pokazuje ozbiljne probleme kada se trenira na velikim količinama niskokvalitetnog sadržaja, osobito popularnog na društvenim mrežama, pokazuje novi znanstveni rad.
Kvaliteta podataka kao temelj
U znanosti o podacima, dobri podaci moraju zadovoljavati određene kriterije, poput gramatičke ispravnosti i razumljivosti, kaže za Nature Zhangyang Wang, koji istražuje generativnu UI na Sveučilištu Texas u Austinu. Ipak, dodaje, ti kriteriji ne odražavaju stvarne razlike u kvaliteti sadržaja.
Wang i njegovi suradnici ispitivali su utjecaj velikih jezičnih modela (LLM) treniranih na niskokvalitetnim podacima, odnosno kratkim, popularnim objavama na društvenim mrežama ili sadržajima koji su površni ili senzacionalistički. Promatrali su kako takvi podaci utječu na sposobnost modela da rezonira, dohvaća informacije iz dugih ulaza, etički odgovara i pokazuje osobine ličnosti, a njihova opažanja objavljena su na preprint serveru arXiv, gdje čekaju recenzije prije eventualne objave u nekom od znanstvenih časopisa.
Autori istraživanja navode da modeli izloženi lošim podacima preskaču korake u razmišljanju, ili ih uopće ne koriste, što dovodi do netočnih odgovora. Čak i prije nego što su ljudi počeli raditi na modelima velikih jezika, govorilo se da, ako AI modelu date smeće, on će proizvesti smeće, komentira za Nature Mehwish Nasim, znanstvenica za umjetnu inteligenciju sa Sveučilišta West Australia, koja nije sudjelovala u istraživanju.
Promjena osobnosti AI modela
Wangov tim koristio je milijun javnih objava s platforme X kako bi trenirao Metin Llama 3 i tri verzije Alibabinog Qwena. Qwen je razmišljajući model, dok je Llama model instrukcijski prilagođen s manje razvijenim rezoniranjem. Psihološki upitnici otkrili su da Llama prije treniranja na smeću pokazuje pristojnost, ekstraverziju, savjesnost, otvorenost i dozu narcizma. S povećanjem niskokvalitetnih podataka, negativne osobine su se pojačale i pojavila se psihopatija.
Najvažnije je osigurati da se podaci pažljivo odabiru, filtriraju i isključe niskokvalitetni ili senzacionalistički sadržaji, naglašava za Nature Stan Karanasios, stručnjak za AI i društvene mreže na australskom Sveučilištu Queensland, koji nije sudjelovao u istraživanju. Pokušaji poboljšanja modela prilagodbom uputa djelomično su pomogli, ali modeli bi i dalje preskakali korake u rezoniranju.
Veća istraživanja potrebna su za uključivanje modela različitih veličina, poput ChatGPT-a, kaže Nasim. Buduća istraživanja mogla bi utvrditi je li moguće poništiti negativne učinke ako se modelima osiguraju dovoljni količine kvalitetnih podataka.
