Microsoft je predstavio novu revolucionarnu tehniku za obučavanje umjetne inteligencije pod nazivom "Algoritam misli" (Algorithm of thought ili AoT), s ciljem poboljšanja sposobnosti razmišljanja velikih jezičnih modela (LLM), kao što je ChatGPT, čineći ih učinkovitijima i sličnijima ljudima.
AoT pristup logičan je napredak za Microsoft, glavnog tehnološkog igrača u razvoju umjetne inteligencije, posebno kroz njihova ulaganja u OpenAI i programere koji stoje iza utjecajnih AI modela kao što su DALL-E, ChatGPT i GPT.
Potencijalno revolucionaran pristup
Prema objavljenoj studiji na znanstvenom repozitoriju Arxiv, Microsoft opisuje AoT metodu kao potencijalnu veliku promjenu, vođenjem jezičnih modela kroz pojednostavljeni proces rješavanja problema. Taj pristup, nazvan "učenje u kontekstu", osnažuje model da sustavno istražuje različita rješenja na organiziran način, što dovodi do bržeg rješavanja problema koji istovremeno zahtijeva manje resursa.
Naša tehnika nadmašuje prethodne metode s jednim upitom i jednaka je nedavnom pristupu s više upita koji koristi opsežno razgranato pretraživanje, navodi se u studiji. Intrigantno je da rezultati sugeriraju da navođenje modela AoT-om može dovesti do performansi koje nadmašuju sam taj algoritam.
Prednosti nad dosadašnjim metodama
Microsoftovi znanstvenici vjeruju da ta tehnika poboljšava "intuiciju" modela tako što optimizira njegov proces pretraživanja.
AoT tehnika predstavlja odgovor na ograničenja postojećih metoda učenja u kontekstu, poput metode "Chain-of-Thought" (CoT), koja povremeno daje netočne međukorake. Nasuprot tome, AoT koristi algoritamske primjere za vođenje modela, što rezultira pouzdanijim rezultatima.
AoT crpi inspiraciju iz ljudskih i strojnih atributa kako bi poboljšao izvedbu generativnog AI modela. Nastoji kombinirati ljudsku intuitivnu spoznaju s organiziranim, iscrpnim istraživanjem algoritama.
Istraživački rad objašnjava da AoT želi spojiti te dvostruke aspekte kako bi se povećale sposobnosti razmišljanja unutar LLM-a.
Microsoft predlaže da taj hibridni pristup omogući modelu da prevlada ograničenja ljudske radne memorije, olakšavajući tako sveobuhvatniju analizu ideja.
Za razliku od linearnog razmišljanja CoT-a ili tehnike "Tree of Thoughts" (ToT), AoT omogućuje fleksibilno razmatranje različitih rješenja potproblema uz održavanje učinkovitosti s minimalnim poticajima.
Uskoro integracija u GPT-4?
U biti, AoT označava prijelaz s nadziranog učenja na integraciju samog procesa pretraživanja. S napretkom u brzom inženjeringu, stručnjaci vjeruju da bi ovaj pristup mogao omogućiti modelima da se učinkovito pozabave složenim problemima stvarnog svijeta, a istovremeno smanjuju svoj ugljični otisak.
S obzirom na značajna ulaganja u umjetnu inteligenciju, čini se da je Microsoft spreman integrirati AoT u napredne sustave poput GPT-4.
Izvor: Decrypt
