OpenAI a publicat recent un studiu care identifică motivul pentru care ChatGPT și alte modele mari de limbaj tind să fabrice informații, un fenomen cunoscut în inteligența artificială sub numele de “halucinație”. Din nefericire, problema ar putea fi de nerezolvat.
Ultima lucrare de cercetare a OpenAI oferă cea mai riguroasă explicație matematică până acum despre motivul pentru care aceste modele afirmă cu încredere informații false. Studiul demonstrează că aceste greșeli nu sunt doar un efect secundar nefericit al modului în care sunt antrenate IA-urile, ci sunt inevitabile din punct de vedere matematic.
Problema poate fi parțial explicată prin erorile din datele de bază folosite pentru antrenarea IA-urilor. Totuși, prin analiza matematică a modului în care sistemele AI învață, cercetătorii au demonstrat că, chiar și cu date de antrenament perfecte, problema persistă.
Modul în care modelele de limbaj răspund la interogări — prezicând un cuvânt la un moment dat într-o propoziție, bazându-se pe probabilități — produce în mod natural erori. Cercetătorii au arătat de fapt că rata totală de eroare pentru generarea propozițiilor este de cel puțin două ori mai mare decât rata de eroare pe care același AI ar avea-o la o simplă întrebare de tip da/nu, deoarece greșelile se pot acumula pe parcursul mai multor predicții.
Cu alte cuvinte, ratele de halucinație sunt fundamental limitate de capacitatea sistemelor AI de a distinge răspunsurile valide de cele invalide. Deoarece această problemă de clasificare este inerent dificilă pentru multe domenii de cunoaștere, halucinațiile devin inevitabile.
S-a descoperit de asemenea că, cu cât un model întâlnește mai rar un fapt în timpul antrenamentului, cu atât este mai probabil să halucineze când este întrebat despre acesta. De exemplu, în cazul zilelor de naștere ale unor figuri notabile, s-a constatat că, dacă 20% dintre astfel de persoane apar doar o dată în datele de antrenament, atunci modelele de bază ar trebui să greșească cel puțin 20% din interogările despre zile de naștere.
Mai îngrijorător este analiza lucrării despre motivul pentru care halucinațiile persistă în ciuda eforturilor post-antrenament (cum ar fi furnizarea unui feedback uman extensiv la răspunsurile unui AI înainte de a fi lansat publicului). Autorii au examinat zece principale repere AI, inclusiv cele utilizate de Google și OpenAI, precum și clasamentele de top care evaluează modelele AI. Aceasta a relevat că nouă repere folosesc sisteme de notare binare care acordă zero puncte pentru AI-uri care exprimă incertitudine.
Aceasta creează ceea ce autorii numesc un “epid