Oferind sistemelor de inteligență artificială (AI) un „monolog interior”, le face considerabil mai bune la raționament, arată o nouă cercetare.
Metoda antrenează sistemele AI să gândească înainte de a răspunde la solicitări, la fel cum mulți oameni iau în considerare ceea ce ar trebui să spunem în continuare înainte de a vorbi. Acest lucru este diferit de modul în care oamenii de știință au antrenat chatbot-uri de bază AI, cum ar fi ChatGPT, care nu „se gândesc” la ceea ce scriu și nu anticipează posibilități diferite pentru următorii pași într-o conversație.
Numită „Quiet-STaR”, noua metodă instruiește un sistem AI să genereze multe argumente interioare în paralel înainte de a răspunde la o solicitare conversațională. Când AI răspunde la solicitări, generează o combinație a acestor predicții cu și fără o justificare, imprimând cel mai bun răspuns – care poate fi verificat de un participant uman, în funcție de natura întrebării.
În cele din urmă, învață eliminând argumentele care s-au dovedit incorecte. De fapt, metoda de antrenament oferă agenților AI capacitatea de a anticipa conversațiile viitoare și de a învăța din cele în curs.
Cercetătorii au aplicat algoritmul Quiet-STaR la Mistral 7B, un model de limbă mare (LLM) cu sursă deschisă, și au postat rezultatele pe 14 martie în baza de date pre-print. arXiv. (Lucrarea nu a fost încă revizuită de colegi.)
Versiunea antrenată de Quiet-STaR a Mistral 7B a obținut un scor de 47,2% la un test de raționament față de 36,3% înainte de orice antrenament. A trecut în continuare un test de matematică la școală, obținând un scor de 10,9%. Dar acesta a fost aproape dublu față de scorul de pornire de 5,9% în versiunea vanilie.
Modele precum ChatGPT și Gemini sunt construite din rețele neuronale – colecții de algoritmi de învățare automată aranjați într-un mod care imită structura și tiparele de învățare ale creier uman. Cu toate acestea, sistemele construite folosind această arhitectură sunt abisale în ceea ce privește raționamentul de bun simț sau contextualizare – iar chatbot-ii AI nu au o „înțelegere” autentică.
Încercările anterioare de a îmbunătăți capacitățile de raționament ale LLM-urilor au fost foarte specifice domeniului și nu au putut fi aplicate diferitelor tipuri de modele AI.
Algoritmul de raționament autodidact (STAR), pe care cercetătorii l-au folosit ca bază pentru munca lor, este un exemplu de astfel de algoritm de antrenament – dar este împiedicat de aceste limitări.
Oamenii de știință care au dezvoltat Quiet-STaR l-au numit astfel, deoarece principiile STAR pot fi aplicate în mod liniștit în fundal și, în general, peste mai multe tipuri diferite de LLM, independent de datele originale de antrenament. Acum doresc să investigheze modul în care tehnici ca a lor pot reduce decalajul dintre sistemele AI bazate pe rețelele neuronale și capacitățile de raționament asemănătoare omului.