Cu atât mai avansat inteligenţă artificială (AI) devine, cu atât „halucinează” mai mult și oferă informații incorecte și inexacte.
Cercetare Condusă de OpenAI a constatat că cele mai recente și mai puternice modele de raționament ale sale, O3 și O4-MINI, au halucinat 33% și, respectiv, 48% din timp, atunci când au fost testate de punctul de referință al OpenAI. Aceasta este mai mult decât dublul ratei modelului O1 mai vechi. În timp ce O3 oferă informații mai exacte decât predecesorul său, se pare că costă halucinații mai inexacte.
Acest lucru ridică o preocupare cu privire la exactitatea și fiabilitatea modelelor de limbaj mare (LLM), cum ar fi chatbot -urile AI, a spus Eleanor WatsonMembru al Institutului de Ingineri Electrici și Electronici (IEEE) și inginer de etică AI la Universitatea Singularity.
“Atunci când un sistem emite informații fabricate – cum ar fi faptele, citările sau evenimentele inventate – cu aceeași fluență și coerență pe care o folosește pentru un conținut precis, riscă să inducă în eroare utilizatorii în moduri subtile și consecințe”, a spus Watson pentru Live Science.
Problema halucinației evidențiază necesitatea evaluării și supravegherii cu atenție informațiile pe care sistemele AI le produc atunci când utilizează LLM și modele de raționament, spun specialiștii.
AIS visează oile electrice?
Punctul principal al unui model de raționament este acela că poate gestiona sarcini complexe, descompunându -le în mod esențial în componente individuale și venind cu soluții pentru a le aborda. În loc să caute să dea starea de răspuns pe baza probabilității statistice, modelele de raționament vin cu strategii pentru a rezolva o problemă, la fel ca modul în care cred oamenii.
Pentru a dezvolta soluții creative și potențial inedite la probleme, AI trebuie să halucineze – în altă parte este limitat de datele rigide ale lui LLM ingerează.
“Este important de menționat că halucinația este o caracteristică, nu o eroare, a AI”, Sohrob Kazerouniana declarat un cercetător AI la Vectra AI, Live Science. “Pentru a parafraza un coleg de -al meu,„ Tot ce a ieșit din LLM este o halucinație. Doar că unele dintre aceste halucinații sunt adevărate. ” Dacă o AI a generat doar rezultate verbale pe care le -a văzut în timpul antrenamentului, toată AI s -ar reduce la o problemă masivă de căutare. “
“Ați putea genera doar cod de calculator care a fost scris înainte, să găsiți proteine și molecule ale căror proprietăți au fost deja studiate și descrise și să răspundeți la întrebări pentru teme care au fost deja puse anterior.
În realitate, LLM -urile și sistemele AI de care trebuie să se halucineze pentru a crea, mai degrabă decât să servească pur și simplu informațiile existente. Este similar, conceptual, cu modul în care oamenii visează sau își imaginează scenarii atunci când conjurează idei noi.
Gândindu -mă prea mult în afara cutiei
Cu toate acestea, Halucinații AI Prezentați o problemă atunci când vine vorba de furnizarea de informații exacte și corecte, mai ales dacă utilizatorii iau informațiile la valoarea nominală fără verificări sau supraveghere.
“Acest lucru este mai ales problematic în domeniile în care deciziile depind de precizie faptică, cum ar fi medicina, dreptul sau finanțele”, a spus Watson. “În timp ce modelele mai avansate pot reduce frecvența unor greșeli factuale evidente, problema persistă în forme mai subtile. În timp, confabularea erodează percepția sistemelor AI ca instrumente de încredere și pot produce daune materiale atunci când este acționat conținut neverificat.”
Și această problemă pare a fi agravată pe măsură ce AI avansează. „Pe măsură ce capacitățile modelului se îmbunătățesc, erorile devin adesea mai puțin depășite, dar mai dificil de detectat”, a menționat Watson. “Conținutul fabricat este din ce în ce mai încorporat în narațiuni plauzibile și lanțuri de raționament coerente. Aceasta introduce un risc particular: utilizatorii pot să nu știe că erorile sunt prezente și pot trata rezultatele ca fiind definitive atunci când nu sunt. Problema se schimbă de la filtrarea erorilor brute la identificarea distorsiunilor subtile, care se pot dezvălui doar sub o examinare strânsă.”
Kazerounian a susținut acest punct de vedere. „În ciuda credinței generale că problema halucinației AI poate și se va îmbunătăți de-a lungul timpului, se pare că cea mai recentă generație de modele de raționament avansate ar fi putut începe să halucineze mai mult decât omologii lor mai simpli-și nu există explicații convenite pentru motivul pentru care acesta este”, a spus el.
Situația este în continuare complicată, deoarece poate fi foarte dificil să se stabilească modul în care LLM -urile vin cu răspunsurile lor; O paralelă ar putea fi atrasă aici cu modul în care încă nu știm cu adevărat, în mod cuprinzător, cum funcționează un creier uman.
Într -un recent eseu, Dario AmodeiCEO -ul companiei AI Antropic, a evidențiat lipsa de înțelegere a modului în care AIS vine cu răspunsuri și informații. „Când un sistem AI generativ face ceva, cum ar fi rezumă un document financiar, nu avem idee, la un nivel specific sau precis, de ce face alegerile pe care le face – de ce alege anumite cuvinte față de ceilalți sau de ce, ocazional, face o greșeală, în ciuda faptului că este de obicei precis”, a scris el.
Problemele cauzate de AI halucinante informații inexacte sunt deja foarte reale, a remarcat Kazerounian. “Nu există o modalitate universală, verificabilă, de a obține un LLM pentru a răspunde corect la întrebări despre un corpus de date la care are acces”, a spus el. “Exemplele de referințe halucinate inexistente, chatbot-uri orientate către clienți care alcătuiesc politica companiei și așa mai departe, sunt acum prea comune.”
Visele zdrobitoare
Atât kazerounianul, cât și Watson au declarat în Live Science că, în cele din urmă, halucinațiile AI pot fi dificil de eliminat. Dar ar putea exista modalități de atenuare a problemei.
Watson a sugerat că „generarea de preluare-crescută”, care bazează rezultatele unui model în surse de cunoștințe externe curate, ar putea ajuta la asigurarea faptului că informațiile produse AI sunt ancorate de date verificate.
“Another approach involves introducing structure into the model’s reasoning. By prompting it to check its own outputs, compare different perspectives, or follow logical steps, scaffolded reasoning frameworks reduce the risk of unconstrained speculation and improve consistency,” Watson, noting this could be aided by training to shape a model to prioritize accuracy, and reinforcement training from human or AI evaluators to encourage an LLM to deliver more disciplined, Răspunsuri fundamentate.
“În cele din urmă, sistemele pot fi proiectate pentru a -și recunoaște propria incertitudine. În loc să fie implicită la răspunsuri încrezătoare, modelele pot fi învățate să semnalizeze atunci când nu sunt sigure sau să se amâne la judecata umană, atunci când este cazul, a adăugat Watson. “În timp ce aceste strategii nu elimină în totalitate riscul de confabulare, acestea oferă o cale practică înainte pentru a face ca rezultatele AI să fie mai fiabile.”
Având în vedere că halucinarea AI poate fi aproape imposibil de eliminat, în special în modelele avansate, Kazerounian a concluzionat că, în final, informațiile pe care LLMS produc le va trebui să fie tratate cu „același scepticism pe care îl rezervăm pentru omologii umani”.