Yoshua Bengio este unul dintre cei mai citați cercetători din inteligenţă artificială (AI). Un pionier în crearea de rețele neuronale artificiale și algoritmi de învățare profundă, Bengio, împreună cu cercetătorul șef AI Meta Yann LeCun și fostul cercetător Google AI Geoffrey Hinton, au primit în 2018 Premiul Turing (cunoscut sub numele de „Nobelul” informaticii) pentru contribuțiile lor cheie în domeniu.
Cu toate acestea, Bengio, adesea menționat alături de colegii săi câștigători ai Premiului Turing drept unul dintre „nașii” AI, este deranjat de ritmul dezvoltării și adoptării tehnologiei sale. El crede că inteligența artificială ar putea deteriora structura societății și prezintă riscuri neprevăzute pentru oameni. Acum, el este președintele Raportului științific internațional privind siguranța IA avansată – un grup consultativ susținut de 30 de națiuni, Uniunea Europeană și Națiunile Unite.
Live Science a vorbit cu Bengio prin apel video la CumTheLightGetsIn Festival de la Londra, unde a discutat despre posibilitatea conștientizării mașinii și riscurile tehnologiei în curs de dezvoltare. Iată ce a avut de spus.
Ben Turner: Ați jucat un rol incredibil de semnificativ în dezvoltarea rețelelor neuronale artificiale, dar acum ați cerut un moratoriu asupra dezvoltării lor și căutați modalități de a le reglementa. Ce te-a făcut să ceri o pauză în munca vieții tale?
Yoshua Bengio: Este dificil să mergi împotriva propriei tale biserici, dar dacă te gândești rațional la lucruri, nu există nicio modalitate de a nega posibilitatea unor rezultate catastrofale atunci când atingem un nivel de IA. Motivul pentru care am pivotat este pentru că înainte de acel moment, am înțeles că există scenarii care sunt rele, dar m-am gândit să ne dăm seama.
Dar gândirea la copiii mei și la viitorul lor m-a făcut să decid că trebuie să acționez diferit pentru a face tot ce pot pentru a atenua riscurile.
BT: Simțiți o oarecare responsabilitate pentru atenuarea efectelor lor cele mai grave? Este ceva care te cântărește?
YB: Da, da. Simt o datorie pentru că vocea mea are un anumit impact datorită recunoașterii pe care am primit-o pentru munca mea științifică și, prin urmare, simt că trebuie să vorbesc. Celălalt motiv pentru care sunt implicat este pentru că există soluții tehnice importante care fac parte din soluția politică mai mare dacă ne vom da seama cum să nu dăunăm oamenilor prin construcția AI.
Companiile ar fi bucuroși să includă aceste soluții tehnice, dar acum nu știm cum să o facem. Ei încă vor să obțină cvadrilioane de profituri prezise de la atingerea AI la un nivel uman – așa că suntem într-o poziție proastă și trebuie să găsim răspunsuri științifice.
O imagine pe care o folosesc foarte mult este că parcă toată omenirea conduce pe un drum pe care nu-l cunoaștem prea bine și este o ceață în fața noastră. Ne îndreptăm spre ceața aceea, am putea fi pe un drum de munte și poate fi o trecătură foarte periculoasă pe care nu o putem vedea suficient de clar.
Deci ce facem? Continuăm să alergăm înainte în speranța că totul va fi bine sau încercăm să venim cu soluții tehnologice? Soluția politică spune să aplici principiul precauției: încetinește dacă nu ești sigur. Soluția tehnică spune că ar trebui să găsim modalități de a privi prin ceață și poate dotăm vehiculul cu măsuri de protecție.
BT: Deci, care sunt cele mai mari riscuri pe care învățarea automată le prezintă, pe termen scurt și lung, pentru umanitate?
YB: Oamenii spun întotdeauna că aceste riscuri sunt science fiction, dar nu sunt. Pe termen scurt, vedem deja IA este folosită în campania electorală din SUAși pur și simplu va deveni mult mai rău. A existat un studiu recent care a arătat că ChatGPT-4 este un mult mai bun decât oamenii la persuasiuneși asta este doar ChatGPT-4 — noua versiune va fi mai proastă.
Au fost, de asemenea, teste despre modul în care aceste sisteme pot ajuta teroriștii. Recentul ChatGPT o1 a schimbat acest risc de la risc scăzut la risc mediu.
Dacă te uiți mai departe, atunci când ajungem la nivelul de superinteligență există două riscuri majore. Prima este pierderea controlului uman, dacă mașinile superinteligente au un obiectiv de autoconservare, scopul lor ar putea fi să distrugă umanitatea, astfel încât să nu le putem opri.
Celălalt pericol, dacă primul scenariu nu se întâmplă cumva, este ca oamenii să folosească puterea AI pentru a prelua controlul asupra umanității într-o dictatură mondială. Puteți avea versiuni mai blânde ale acestui lucru și poate exista într-un spectru, dar tehnologia va oferi o putere uriașă oricui o controlează.
BT: UE a emis un act privind inteligența artificială, la fel și Biden cu ordinul său executiv privind inteligența artificială. Cât de bine răspund guvernele la aceste riscuri? Răspunsurile lor sunt în direcția corectă sau sunt nerespectate?
YB: Cred că sunt pași în direcția corectă. Deci, de exemplu, ordinul executiv al lui Biden a fost atât de mult pe cât ar putea face Casa Albă în acea etapă, dar nu are impact, nu obligă companiile să împărtășească rezultatele testelor lor sau chiar să facă acele teste.
Trebuie să scăpăm de acel element voluntar, companiile trebuie de fapt să aibă planuri de siguranță, să divulge rezultatele testelor lor, iar dacă nu respectă stadiul tehnicii în protecția publicului ar putea fi dați în judecată. Cred că aceasta este cea mai bună propunere din punct de vedere legislativ.
BT: În momentul de față, rețelele neuronale au o mulțime de aplicații impresionante. Dar au încă probleme: ei luptă cu învățarea nesupravegheată și nu se adaptează bine situații care apar rar în datele lor de antrenamentpe care trebuie să le consume sume uluitoare de. Cu siguranță, așa cum am văzut mașini cu conducere autonomăaceste defecțiuni produc și riscuri proprii?
YB: În primul rând, vreau să corectez ceva ce ai spus la această întrebare: sunt foarte buni la învățarea nesupravegheată, practic așa sunt antrenați. Ei sunt instruiți într-un mod nesupravegheat – doar consumând toate datele pe care le oferiți și încercând să le dea sens, aceasta este învățare nesupravegheată. Asta se numește pre-instruire, înainte de a le oferi o sarcină, îi faci să înțeleagă toate datele pe care le pot.
În ceea ce privește câte date au nevoie, da, au nevoie de mult mai multe date decât oamenii, dar există argumente că evoluția a avut nevoie de mult mai multe date pentru a veni cu specificul a ceea ce este în creierul nostru. Deci este greu să faci comparații.
Cred că există loc pentru îmbunătățirea noastră în ceea ce privește cantitatea de date de care au nevoie. Punctul important din perspectiva politicii este că am făcut progrese uriașe, există încă un decalaj uriaș între inteligența umană și abilitățile lor, dar nu este clar cât de departe suntem pentru a reduce această decalaj. Politica ar trebui să se pregătească pentru cazul în care poate fi rapidă – în următorii cinci ani și ceva.
BT: La această întrebare de date, modelele GPT au fost demonstrate suferă prăbușirea modelului atunci când consumă suficient din propriul lor conținut. Știu că am vorbit despre riscul ca IA să devină suprainteligentă și să devină necinstită, dar ce zici de o posibilitate distopică puțin mai farsă – devenim dependenți de AI, dezactivează industriile de locuri de muncă, se degradează și se prăbușește, iar apoi rămânem ridicând piesele?
YB: Da, nu sunt îngrijorat de problema colapsului din datele pe care le generează. Dacă mergi pentru [feeding the systems] date sintetice și o faci inteligent, într-un mod pe care oamenii îl înțeleg. Nu le veți cere doar acestor sisteme să genereze date și să se antreneze pe ele – asta nu are sens din perspectiva învățării automate.
Cu date sintetice, îl puteți face să joace împotriva ei înșiși și generează date sintetice care îl ajută să ia decizii mai bune. Deci nu mi-e frică de asta.
Putem, totuși, să construim mașini care au efecte secundare pe care nu le anticipăm. Odată ce suntem dependenți de ei, va fi greu să tragem de la priză și s-ar putea chiar să pierdem controlul. Dacă aceste mașini sunt peste tot și controlează multe aspecte ale societății și au intenții rele…
Există abilități de înșelăciune [in those systems]. Există o mulțime de necunoscute necunoscute care ar putea fi foarte, foarte rele. Deci trebuie să fim atenți.
BT: The Guardian a raportat recent că emisiile din centrele de date ale Google, Apple, Meta și Microsoft sunt probabile 662% mai mare decât pretind ei. Bloomberg a raportat, de asemenea, că centrele de date AI sunt conducând la o renaștere a infrastructurii combustibililor fosili în SUA Ar putea adevăratul pericol pe termen scurt al IA să fie daunele ireversibile pe care le provocăm climei în timp ce o dezvoltăm?
YB: Da, în totalitate, este o problemă mare. Nu aș spune că este la egalitate cu perturbarea politică majoră cauzată de IA în ceea ce privește riscurile de dispariție umană, dar este ceva foarte grav.
Dacă te uiți la date, cantitatea de energie electrică necesară pentru a antrena cele mai mari modele crește exponențial în fiecare an. Asta pentru că cercetătorii constată că, cu cât faci modele mai mari, cu atât sunt mai inteligente și cu atât câștigă mai mulți bani.
Lucrul important aici este că valoarea economică a acelei inteligențe va fi atât de mare încât să plătească de 10 ori prețul acelei electricități nu este un obiect pentru cei din acea cursă. Asta înseamnă că toți vom plăti mai mult pentru electricitate.
Dacă urmărim unde merg tendințele, cu excepția cazului în care ceva se schimbă, o mare parte din energia electrică generată pe planetă va intra în pregătirea acestor modele. Și, desigur, nu poate veni totul din energie regenerabilă, va fi pentru că vom scoate mai mulți combustibili fosili din pământ. Acest lucru este rău, este încă un motiv pentru care ar trebui să încetinim – dar nu este singurul.
BT: Unii cercetători în domeniul inteligenței artificiale și-au exprimat îngrijorarea cu privire la pericolul ca mașinile să obțină inteligență generală artificială (AGI) – un cuvânt puțin controversat în acest domeniu. Încă alții precum Thomas Dietterich au spus că conceptul este neștiințific și oamenii ar trebui să fie jenați să folosească termenul. Unde cazi in aceasta dezbatere?
YB: Cred că este destul de științific să vorbim despre capabilități în anumite domenii. Asta facem, facem benchmark-uri tot timpul și evaluăm capacități specifice.
Unde devine captivant este atunci când întrebăm ce înseamnă totul [in terms of general intelligence]. Dar cred că este o întrebare greșită. Întrebarea mea este în cazul mașinilor care sunt suficient de inteligente încât să aibă capacități specifice, ce le-ar putea face periculoase pentru noi? Ar putea fi folosite pentru atacuri cibernetice? Proiectarea armelor biologice? Convingerea oamenilor? Au capacitatea de a se copia pe alte mașini sau pe internet contrar dorințelor dezvoltatorilor lor?
Toate acestea sunt rele și este suficient ca aceste IA să aibă un subset al acestor capacități pentru a fi cu adevărat periculoase. Nu este nimic neclar în asta, oamenii construiesc deja repere pentru aceste abilități pentru că nu vrem ca mașinile să le aibă. Institutele de siguranță AI din Regatul Unit iar cel NE lucrează la aceste lucruri și testează modelele.
BT: Am atins acest lucru mai devreme, dar cât de mulțumit sunteți de munca oamenilor de știință și a politicienilor în abordarea riscurilor? Ești mulțumit de eforturile tale și ale lor sau suntem încă pe un drum foarte periculos?
YB: Nu cred că am făcut încă ceea ce este necesar în ceea ce privește atenuarea riscurilor. Au fost multe conversații globale, multe propuneri legislative, ONU este sta rting să se gândească la tratatele internaţionale — dar trebuie să mergem mult mai departe.
Am făcut multe progrese în ceea ce privește creșterea gradului de conștientizare și înțelegerea mai bună a riscurilor, iar politicienii se gândesc la legislație, dar nu suntem încă acolo. Nu suntem în stadiul în care ne putem proteja de riscuri catastrofale.
În ultimele șase luni, există și acum o contraforță [pushing back against regulatory progress]lobby-uri foarte puternice care provin de la o mică minoritate de oameni care au multă putere și bani și nu doresc ca publicul să aibă nicio supraveghere asupra a ceea ce fac cu AI.
Există un conflict de interese între cei care construiesc aceste mașini, se așteaptă să câștige tone de bani și concurând unul împotriva celuilalt cu publicul. Trebuie să gestionăm acel conflict, la fel cum am făcut pentru tutun, așa cum nu am reușit să facem cu combustibilii fosili. Nu putem lăsa doar forțele pieței să fie singura forță care conduce la modul în care dezvoltăm AI.
BT: Este ironic dacă tocmai ar fi predat forțelor pieței, ne-am lega, într-un fel, viitorul de un algoritm deja foarte distructiv.
YB: Da, exact.
BT: Ați menționat grupurile de lobby care fac eforturi pentru a menține învățarea automată nereglementată. Care sunt argumentele lor principale?
YB: Un argument este că va încetini inovația. Dar există o cursă pentru a transforma lumea cât mai repede posibil? Nu, vrem să o facem mai bună. Dacă asta înseamnă să luăm măsurile potrivite pentru a proteja publicul, așa cum am făcut în multe alte sectoare, nu este un argument bun. Nu este că vom opri inovația, poți direcționa eforturile în direcții care construiesc instrumente care vor ajuta cu siguranță economia și bunăstarea oamenilor. Deci este un argument fals.
Avem reglementări pentru aproape orice, de la sandvișul tău, la mașina ta, la avioanele pe care le iei. Înainte de a avea reglementări, am avut ordine de mărime mai multe accidente. La fel este și cu produsele farmaceutice. Putem avea o tehnologie care este utilă și reglementată, acesta este lucrul care a funcționat pentru noi.
Al doilea argument este că dacă Occidentul încetinește pentru că vrem să fim precauți, atunci China va face un salt înainte și va folosi tehnologia împotriva noastră. Este o adevărată îngrijorare, dar soluția nu este să accelerăm la fel de bine fără precauție, pentru că asta pune problema unei curse înarmărilor.
Soluția este o cale de mijloc, în care vorbim cu chinezii și ajungem la o înțelegere care este în interesul nostru comun de a evita catastrofele majore. Semnăm tratate și lucrăm la tehnologii de verificare, astfel încât să avem încredere unul în celălalt că nu facem nimic periculos. Asta trebuie să facem pentru ca amândoi să fim precauți și să ne mișcăm împreună pentru bunăstarea planetei.
Nota editorului: Acest interviu a fost editat și condensat pentru claritate.
HowTheLightGetsIn este cel mai mare festival de idei, știință și muzică din lume, care are loc în fiecare an la Londra și Hay. Ai ratat festivalul lor de la Londra? Nu vă faceți griji. Toate evenimentele anterioare ale festivalului, inclusiv toate dezbaterile și discuțiile din recentul festival de la Londra, pot fi urmărite pe IAI.TV. Cuprinzând subiecte de la cuantică la conștiință și tot ce se află între ele, veți găsi videoclipuri, articole și chiar evenimente lunare online de la gânditori de pionierat, inclusiv Roger Penrose, Carlo Rovelli și Sabine Hossenfelder. Bucurați-vă de o perioadă de încercare lunară gratuită astăzi la iai.tv/subscribe.
Ce e mai mult? Următorul festival se întoarce la Hay în perioada 23-26 mai 2025, după tema „Navigating the Unknown”. Pentru mai multe detalii și informații despre biletele Early Bird, accesați-le site-ul web.