Cercetătorii MIT au dezvoltat o nouă metodă pentru a ajuta inteligență artificială (AI) sistemele desfășoară sarcini complexe de raționament în trei domenii, inclusiv codificare, planificare strategică și robotică.
Modele de limbaj mari (LLM), care includ ChatGPT și Claude 3 Opus, procesează și generează text pe baza intrării umane, cunoscut sub numele de „promptions”. Aceste tehnologii s-au îmbunătățit foarte mult în ultimele 18 luni, dar sunt constrânse de incapacitatea lor de a înțelege contextul, precum și oamenii sau de a îndeplini bine sarcinile de raționament, au spus cercetătorii.
Dar oamenii de știință de la MIT susțin acum că au rezolvat această problemă creând „un tezaur” de „abstracții” în limbaj natural care ar putea duce la modele AI mai puternice. Abstracțiile transformă subiectele complexe în caracterizări la nivel înalt și omit informații neimportante – ceea ce ar putea ajuta chatboții să raționeze, să învețe, să perceapă și să reprezinte cunoștințele la fel ca oamenii.
În prezent, oamenii de știință susțin că LLM-urile întâmpină dificultăți în extragerea informațiilor într-un mod asemănător omului. Cu toate acestea, au organizat abstracțiile limbajului natural în trei biblioteci, în speranța că vor dobândi o mai mare conștientizare contextuală și vor oferi răspunsuri mai asemănătoare oamenilor.
Oamenii de știință și-au detaliat descoperirile în trei lucrări publicate pe serverul de pre-print arXiv 30 octombrie 2023, 13 decembrie 2023 și 28 februarie. Prima bibliotecă, numită „Inducerea bibliotecii din observațiile limbajului” (LILO) sintetizează, comprimă și documentează codul computerului. Al doilea, numit “Achiziția domeniului de acțiune” (Ada) acoperă procesul de luare a deciziilor secvenţiale AI. Cadrul final, numit “Abstracția ghidată de limbaj„ (LGA), îi ajută pe roboți să înțeleagă mai bine mediile și să-și planifice mișcările.
Aceste lucrări explorează modul în care limbajul poate oferi sistemelor AI un context important, astfel încât să poată gestiona sarcini mai complexe. Acestea au fost prezentate pe 11 mai la Conferința Internațională privind Reprezentațiile Învățării de la Viena, Austria.
„Învățarea în bibliotecă reprezintă una dintre cele mai interesante frontiere ale inteligenței artificiale, oferind o cale către descoperirea și raționamentul asupra abstracțiilor compoziționale”, a spus Robert Hawkinsprofesor asistent de psihologie la Universitatea din Wisconsin-Madison, în a afirmație. Hawkins, care nu a fost implicat în cercetare, a adăugat că încercări similare din trecut erau prea costisitoare din punct de vedere computațional pentru a fi utilizate la scară.
Oamenii de știință au spus că trei cadre de bibliotecă folosesc metode neurosimbolice – o arhitectură AI care combină rețele neuronale, care sunt colecții de algoritmi de învățare automată aranjate pentru a imita structura creierului uman, cu abordări logice clasice asemănătoare programelor.
Codare mai inteligentă bazată pe inteligență artificială
LLM-urile au apărut ca instrumente puternice pentru inginerii software umani, inclusiv GitHub Copilot, dar nu pot fi folosite pentru a crea biblioteci de software la scară largă, au spus oamenii de știință. Pentru a face acest lucru, ei trebuie să fie capabili să sorteze și să integreze codul în programe mai mici, care sunt mai ușor de citit și reutilizat, de aceea intervine LILO.
Oamenii de știință au combinat un algoritm dezvoltat anterior care poate detecta abstracții, cunoscut sub numele de „Stitch”, cu LLM-uri pentru a forma cadrul neurosimbolic LILO. În acest regim, atunci când un LLM scrie cod, acesta este apoi asociat cu Stich pentru a localiza abstracțiile în bibliotecă.
Deoarece LILO poate înțelege limbajul natural, poate detecta și omite vocalele din șirurile de cod și poate desena fulgi de zăpadă – la fel cum ar putea un inginer de software uman, valorificând bunul simț al acestora.. Înțelegând mai bine cuvintele folosite în solicitări, LLM-urile ar putea într-o zi să deseneze grafice 2D, să răspundă la întrebări legate de imagini, să manipuleze documente Excel și multe altele.
Folosind AI pentru a planifica și a stabili strategii
LLM nu poate folosi în prezent abilitățile de raționament pentru a crea planuri flexibile – cum ar fi pașii implicați în gătirea micul dejun, au spus cercetătorii. Dar cadrul Ada, numit după matematicianul englez Ada Lovelace, ar putea fi o modalitate de a-i permite să se adapteze și să planifice atunci când li se oferă aceste tipuri de sarcini, de exemplu, în medii virtuale.
Cadrul a oferit biblioteci de planuri de gătit și de jocuri prin utilizarea unui LLM pentru a găsi abstracții din seturi de date în limbaj natural legate de aceste sarcini – cu cele mai bune punctate, filtrate și adăugate la o bibliotecă de un operator uman. Combinând GPT-4 OpenAI cu cadrul, oamenii de știință au depășit linia de bază de luare a deciziilor AI „Codul ca politici” la îndeplinirea sarcinilor de simulare în bucătărie și de jocuri.
Găsind informații ascunse din limbajul natural, modelul a înțeles sarcini precum punerea vinului răcit într-un dulap de bucătărie și construirea unui pat – cu îmbunătățiri ale preciziei de 59% și, respectiv, 89%, în comparație cu îndeplinirea acelorași sarcini fără influența Adei. Cercetătorii speră să găsească alte utilizări domestice pentru Ada în viitorul apropiat.
Ofer roboților un picior asistat de inteligență artificială
Cadrul LGA le permite roboților să înțeleagă mai bine mediile lor, cum ar fi oamenii, eliminând detaliile inutile din împrejurimi și găsind abstracții mai bune, astfel încât să poată îndeplini sarcinile mai eficient.
LGA găsește abstracții de sarcini în mesaje în limbaj natural, cum ar fi „adu-mi pălăria” cu rădăcini care efectuează acțiuni bazate pe filmări de antrenament.
Cercetătorii au demonstrat eficacitatea LGA utilizând Spot, robotul patruped asemănător unui canin al Boston Dynamics, pentru a aduce fructe și a recicla băuturile. Experimentele au arătat că roboții ar putea scana în mod eficient lumea și pot dezvolta planuri în medii haotice.
Cercetătorii cred că cadrele neurosimbolice precum LILO, Ada și LGA vor deschide calea pentru modele AI „mai asemănătoare oamenilor”, oferindu-le abilități de rezolvare a problemelor și permițându-le să navigheze mai bine în mediul lor.