Chiar acum inteligenţă artificială (AI) este peste tot. Când scrieți un document, probabil că veți fi întrebat dacă aveți nevoie de „asistentul AI”. Deschideți un PDF și s-ar putea să fiți întrebat dacă doriți ca un AI să vă ofere un rezumat. Dar dacă ai folosit ChatGPT sau programe similare, probabil că sunteți familiarizat cu o anumită problemă—face chestiideterminând oamenii să vadă cu suspiciune lucrurile pe care le spune.
A devenit obișnuit să descriem aceste erori ca „halucinații.” Dar a vorbi despre ChatGPT în acest fel este înșelător și potențial dăunător. În schimb, numiți asta prostii.
Nu spunem asta cu ușurință. Printre filozofi, „prostia” are un sens de specialitateunul popularizat de regretatul filozof american Harry Frankfurt. Când cineva bate prostii, nu spune adevărul, dar nici nu minte cu adevărat. Ceea ce îl caracterizează pe proști, a spus Frankfurt, este că pur și simplu nu le pasă dacă ceea ce spun este adevărat. ChatGPT și colegilor săi nu le pasă și sunt în schimb, în sens tehnic, niște mașini de prostie.
Putem vedea cu ușurință de ce este adevărat și de ce contează. Anul trecut, de exemplu, un avocat s-a trezit în apă fierbinte când a folosit ChatGPT în cercetarea sa în timpul redactării unui brief legal. Din păcate, ChatGPT a inclus citări de cazuri fictive. Cazurile pe care le-a citat pur și simplu nu au existat.
Acest lucru nu este rar sau anormal. Pentru a înțelege de ce, merită să ne gândim puțin cum funcționează aceste programe. ChatGPT de la OpenAI, chatbot-ul Gemini de la Google și Llama de la Meta funcționează toate în moduri similare din punct de vedere structural. La baza lor se află un LLM – un model lingvistic mare. Toate aceste modele fac predicții despre limbaj. Având unele informații, ChatGPT va face o predicție despre ce ar trebui să urmeze în continuare sau care este un răspuns adecvat. O face printr-o analiză a unor cantități enorme de text („datele sale de antrenament”). În cazul lui ChatGPT, date de pregătire inițială a inclus miliarde de pagini de text de pe Internet.
Din acele date de antrenament, LLM prezice, dintr-un fragment de text sau prompt, ce ar trebui să urmeze. Se va ajunge la o listă cu cuvintele cele mai probabile (din punct de vedere tehnic, simboluri lingvistice) urmează, apoi selectați unul dintre candidații principali. Permiterea de a nu alege cuvântul cel mai probabil de fiecare dată permite un limbaj mai creativ (și mai uman). Parametrul care stabilește cât de multă abatere este permisă este cunoscut sub numele de „temperatură”. Mai târziu în proces, antrenorii umani rafina predicțiile judecând dacă ieșirile constituie vorbire sensibilă. De asemenea, pot fi aplicate restricții suplimentare programului pentru a evita probleme (cum ar fi ChatGPT spune lucruri rasiste), dar această predicție token-by-token este ideea care stă la baza tuturor acestei tehnologii.
Acum, putem vedea din această descriere că nimic despre modelare nu asigură că ieșirile descriu cu exactitate orice în lume. Nu există prea multe motive să credem că ieșirile sunt conectate la orice fel de reprezentare internă. Un chatbot bine antrenat va produce text asemănător unui om, dar nimic din proces nu verifică dacă textul este adevărat, motiv pentru care ne îndoim puternic că un LLM înțelege cu adevărat ce spune.
Legate de: De 32 de ori inteligența artificială a greșit catastrofal
Deci, uneori, ChatGPT spune lucruri false. În ultimii ani, pe măsură ce ne-am obișnuit cu inteligența artificială, oamenii au început să se refere la aceste minciuni drept „halucinații AI.” Deși acest limbaj este metaforic, credem că nu este o metaforă bună.
Luați în considerare halucinația paradigmatică a lui Shakespeare în care Macbeth vede un pumnal plutind spre el. Ce se petrece aici? Macbeth încearcă să-și folosească capacitățile de percepție în mod normal, dar ceva a mers prost. Iar capacitățile sale de percepție sunt aproape întotdeauna de încredere – de obicei nu vede pumnale care plutesc la întâmplare! În mod normal, viziunea lui este utilă pentru a reprezenta lumea și este bun la asta datorită conexiunii sale cu lumea.
Acum gândește-te la ChatGPT. Ori de câte ori spune ceva, pur și simplu încearcă să producă un text asemănător omului. Scopul este pur și simplu să faci ceva care să sune bine. Acest lucru nu este niciodată direct legat de lume. Când merge prost, nu este pentru că de data aceasta nu a reușit să reprezinte lumea; nu încearcă niciodată să reprezinte lumea! Numirea falsurilor sale „halucinații” nu surprinde această caracteristică.
În schimb, sugerăm, într-un raport din iunie în Etica și Tehnologia Informației, că un termen mai bun este „prostia”. După cum am menționat, unui prost pur și simplu nu-i pasă dacă ceea ce spun este adevărat.
Deci, dacă considerăm ChatGPT ca fiind implicat într-o conversație cu noi, totuși chiar și asta ar putea fi o prefăcătură— atunci pare să se potrivească. Oricât de mult intenționează să facă orice, intenționează să producă un text uman convingător. Nu încearcă să spună lucruri despre lume. E doar o prostie. Și, cel mai important, este o prostie chiar și atunci când spune lucruri adevărate!
De ce contează asta? Nu este „halucinația” doar o metaforă frumoasă aici? Chiar contează dacă nu este potrivit? Credem că contează din cel puțin trei motive:
În primul rând, terminologia pe care o folosim afectează înțelegerea publică a tehnologiei, care este importantă în sine. Dacă folosim termeni înșelați, oamenii sunt mai susceptibili să interpreteze greșit modul în care funcționează tehnologia. Credem că acest lucru în sine este un lucru rău.
În al doilea rând, modul în care descriem tehnologia afectează relația noastră cu acea tehnologie și modul în care ne gândim la ea. Și acest lucru poate fi dăunător. Luați în considerare oamenii care au fost amânați într-un fals de securitate de către mașini cu „autoconducere”.. Ne facem griji că vorbirea despre „halucinarea” AI – un termen folosit de obicei pentru psihologia umană – riscă să antropomorfizeze chatboții. Efectul ELIZA (numit după un chatbot din anii 1960) apare atunci când oamenii atribuie trăsături umane programelor de calculator. Am văzut acest lucru in extremis în cazul Angajat Google care a ajuns să creadă că unul dintre chatbot-ii companiei era sensibil. Descrierea ChatGPT ca o mașină de prostie (chiar dacă este una foarte impresionantă) ajută la atenuarea acestui risc.
În al treilea rând, dacă atribuim agenție programelor, acest lucru poate îndepărta vina de la cei care folosesc ChatGPT sau programatorii săi, atunci când lucrurile merg prost. Dacă, așa cum pare să fie cazul, acest tip de tehnologie va fi folosit din ce în ce mai mult în chestiuni importante precum îngrijirea sănătăţiieste esențial să știm cine este responsabil atunci când lucrurile merg prost.
Așa că data viitoare când vezi pe cineva care descrie o IA care creează ceva ca fiind o „halucinație”, numiți prostii!
Acesta este un articol de opinie și analiză, iar opiniile exprimate de autor sau autori nu sunt neapărat cele ale Știința Vii sau științific american.
Acest articol a fost publicat pentru prima dată la științific american. © ScientificAmerican.com. Toate drepturile rezervate. Urmați mai departe TikTok și Instagram, X și Facebook.