Generativ inteligenţă artificială Sistemele (AI) pot produce rezultate revelatoare, dar noi cercetări arată că nu au o înțelegere coerentă a lumii și reguli reale.
În un nou studiu publicate în baza de date arXiv preprint, oamenii de știință de la MIT, Harvard și Cornell au descoperit că modelele de limbaj mari (LLM), precum GPT-4 sau al lui Antropic Claude 3 Opusnu reușesc să producă modele de bază care să reprezinte cu exactitate lumea reală.
Când au fost însărcinați să ofere indicații de conducere pas cu pas în New York City, de exemplu, LLM-urile le-au livrat cu o precizie de aproape 100%. Dar hărțile de bază folosite erau pline de străzi și rute inexistente atunci când oamenii de știință le-au extras.
Cercetătorii au descoperit că, atunci când s-au adăugat modificări neașteptate la o directivă (cum ar fi ocolurile și străzile închise), precizia indicațiilor pe care le-au dat LLM-urile a scăzut. În unele cazuri, a dus la un eșec total. Ca atare, ridică îngrijorarea că sistemele AI implementate într-o situație reală, de exemplu într-o mașină fără șofer, ar putea funcționa defectuos atunci când sunt prezentate medii sau sarcini dinamice.
„O speranță este că, deoarece LLM-urile pot realiza toate aceste lucruri uimitoare în limbaj, poate am putea folosi aceleași instrumente și în alte părți ale științei. Dar întrebarea dacă LLM-urile învață modele coerente ale lumii este foarte importantă dacă vrem să folosească aceste tehnici pentru a face noi descoperiri”, a spus autorul principal Ashesh Rambachanprofesor asistent de economie și cercetător principal în Laboratorul MIT pentru Sisteme Informaționale și Decizionale (LIDS), într-un declaraţie.
Transformatoare complicate
Cheia IA generative se bazează pe capacitatea LLM-urilor de a învăța din cantități mari de date și parametri în paralel. Pentru a face acest lucru se bazează modele de transformatoarecare sunt setul de bază de rețele neuronale care prelucrează datele și permit aspectul de auto-învățare al LLM-urilor. Acest proces creează un așa-numit „model mondial” pe care un LLM instruit îl poate folosi apoi pentru a deduce răspunsuri și pentru a produce rezultate la interogări și sarcini.
O astfel de utilizare teoretică a modelelor mondiale ar fi preluarea datelor din călătoriile cu taxiul printr-un oraș pentru a genera o hartă, fără a fi nevoie să traseze cu minuțiozitate fiecare rută, așa cum este cerut de instrumentele de navigație actuale. Dar dacă acea hartă nu este exactă, abaterile făcute către o rută ar duce la performanțe slabe sau eșuate ale navigației bazate pe AI.
Pentru a evalua acuratețea și coerența LLM-urilor transformatoarelor atunci când vine vorba de înțelegerea regulilor și mediilor din lumea reală, cercetătorii le-au testat folosind o clasă de probleme numite automatizări finite deterministe (DFA). Acestea sunt probleme cu o succesiune de stări, cum ar fi regulile unui joc sau intersecțiile dintr-o rută pe drumul către o destinație. În acest caz, cercetătorii au folosit DFA extrase din jocul de masă Othello și navigarea pe străzile din New York.
Pentru a testa transformatoarele cu DFA, cercetătorii au analizat două valori. Prima a fost „determinarea secvenței”, care evaluează dacă un transformator LLM a format un model mondial coerent dacă a văzut două stări diferite ale aceluiași lucru: două plăci Othello sau o hartă a unui oraș cu drumuri închise și alta fără. A doua măsurătoare a fost „comprimarea secvenței” — o secvență (în acest caz o listă ordonată de puncte de date utilizate pentru a genera rezultate) care ar trebui să arate că un LLM cu un model mondial coerent poate înțelege că două stări identice, (să spunem două plăci Othello care sunt exact aceleași) au aceeași succesiune de pași posibili de urmat.
Să te bazezi pe LLM-uri este o afacere riscantă
Două clase comune de LLM au fost testate pe aceste valori. Unul a fost instruit pe date generate din secvențe produse aleatoriu, în timp ce celălalt pe date generate prin urmărirea proceselor strategice.
Oamenii de știință au descoperit că transformatoarele antrenate pe date aleatorii au format un model mondial mai precis. Autor principal Keyon Vafaun cercetător de la Harvard, a explicat într-o declarație: „În Othello, dacă vezi două computere aleatorii jucând mai degrabă decât jucători de campionat, teoretic ai vedea setul complet de mișcări posibile, chiar și mișcările proaste pe care jucătorii de campionat nu le-ar face. .” Văzând mai multe mișcări posibile, chiar dacă sunt proaste, LLM-urile au fost teoretic mai bine pregătite să se adapteze la schimbări aleatorii.
Cu toate acestea, în ciuda faptului că a generat mișcări Othello valide și direcții precise, doar un transformator a generat un model mondial coerent pentru Othello și niciunul dintre tipurile nu a produs o hartă precisă a New York-ului. Când cercetătorii au introdus lucruri precum ocolirile, toate modelele de navigație folosite de LLM au eșuat.
„Am fost surprins de cât de repede s-a deteriorat performanța imediat ce am adăugat un ocol. Dacă închidem doar 1% din posibilele străzi, precizia scade imediat de la aproape 100% la doar 67%”, a adăugat Vafa.
Acest lucru arată că sunt necesare abordări diferite ale utilizării LLM-urilor pentru a produce modele mondiale precise, au spus cercetătorii. Ce ar putea fi aceste abordări nu este clar, dar evidențiază fragilitatea LLM-urilor transformatoare atunci când se confruntă cu medii dinamice.
„Adesea, vedem că aceste modele fac lucruri impresionante și cred că trebuie să fi înțeles ceva despre lume”, a conchis Rambachan. „Sper că putem convinge oamenii că aceasta este o întrebare la care trebuie să ne gândim foarte atent și că nu trebuie să ne bazăm pe propriile noastre intuiții pentru a răspunde.”
Comentarii recente