Cum un informatician încăpățânat a lansat accidental boom-ul învățării profunde

În timpul primului meu semestru ca student absolvent de informatică la Princeton, am luat-o COS 402: Inteligență artificială. Spre sfârșitul semestrului a avut loc o prelegere despre rețelele neuronale. Asta a fost în toamna lui 2008 și am avut impresia distinctă – atât din acea prelegere, cât și din manual – că rețelele neuronale deveniseră o stăpânire.

Rețelele neuronale au dat rezultate impresionante la sfârșitul anilor 1980 și începutul anilor 1990. Dar apoi progresul s-a blocat. Până în 2008, mulți cercetători au trecut la abordări elegante din punct de vedere matematic, cum ar fi suport mașini vectori.

Nu știam asta atunci, dar o echipă de la Princeton – în aceeași clădire de informatică în care participam la cursuri – lucra la un proiect care să răstoarne înțelepciunea convențională și să demonstreze puterea rețelelor neuronale. Acea echipă, condusă de prof. Fei-Fei Li, nu lucra la o versiune mai bună a rețelelor neuronale. Nu se gândeau deloc la rețelele neuronale.

Mai degrabă, ei creau un nou set de date de imagini care ar fi mult mai mare decât oricare dintre cele apărute înainte: 14 milioane de imagini, fiecare etichetată cu una dintre cele aproape 22.000 de categorii.

Li spune povestea ImageNet în recentele ei memorii, Lumile pe care le văd. În timp ce lucra la proiect, s-a confruntat cu mult scepticism din partea prietenilor și colegilor.

„Cred că ai dus această idee prea departe”, i-a spus un mentor la câteva luni de la începutul proiectului, în 2007. „Smecheria este să crești odată cu domeniul tău. Să nu sări atât de departe înaintea ei.”

Nu a fost doar faptul că construirea unui set de date atât de mare a fost o provocare logistică masivă. Oamenii se îndoiau că algoritmii de învățare automată ai zilei ar beneficia de o colecție atât de vastă de imagini.

„Înainte de ImageNet, oamenii nu credeau în date”, spuse Li într-un interviu din septembrie la Muzeul de Istorie a Calculatoarelor. „Toată lumea a lucrat la paradigme complet diferite în AI, cu puține date.”

Ignorând feedback-ul negativ, Li a continuat proiectul timp de mai bine de doi ani. I-a încordat bugetul de cercetare și răbdarea studenților săi absolvenți. Când și-a luat un nou loc de muncă la Stanford, în 2009, a luat câțiva dintre acești studenți – și proiectul ImageNet – cu ea în California.

ImageNet a primit puțină atenție în primii doi ani după lansarea sa în 2009. Dar în 2012, o echipă de la Universitatea din Toronto a antrenat o rețea neuronală pe setul de date ImageNet, obținând performanțe fără precedent în recunoașterea imaginilor. Acest model revoluționar de inteligență artificială, numit AlexNet după autorul principal Alex Krizhevsky, a declanșat boom-ul învățării profunde care a continuat până în prezent.

AlexNet nu ar fi reușit fără setul de date ImageNet. De asemenea, AlexNet nu ar fi fost posibil fără o platformă numită CUDA, care a permis ca unitățile de procesare grafică (GPU) ale Nvidia să fie folosite în aplicații non-grafice. Mulți oameni au fost sceptici când Nvidia a anunțat CUDA în 2006.

Așadar, boom-ul AI din ultimii 12 ani a fost posibil de trei vizionari care au urmărit idei neortodoxe în fața criticilor pe scară largă. Unul a fost Geoffrey Hinton, un informatician de la Universitatea din Toronto, care a petrecut zeci de ani promovând rețelele neuronale, în ciuda scepticismului aproape universal. Al doilea a fost Jensen Huang, CEO-ul Nvidia, care a recunoscut devreme că GPU-urile ar putea fi utile pentru mai mult decât pentru grafică.

Al treilea a fost Fei-Fei Li. Ea a creat un set de date de imagine care părea ridicol de mare pentru majoritatea colegilor ei. Dar s-a dovedit a fi esențial pentru demonstrarea potențialului rețelelor neuronale antrenate pe GPU.

Geoffrey Hinton

O rețea neuronală este o rețea de mii, milioane sau chiar miliarde de neuroni. Fiecare neuron este o funcție matematică care produce o ieșire bazată pe o medie ponderată a intrărilor sale.

Să presupunem că doriți să creați o rețea care poate identifica cifre zecimale scrise de mână, cum ar fi numărul doi din pătratul roșu de mai sus. O astfel de rețea ar prelua o valoare de intensitate pentru fiecare pixel dintr-o imagine și ar scoate o distribuție de probabilitate pe cele zece cifre posibile – 0, 1, 2 și așa mai departe.

Pentru a antrena o astfel de rețea, mai întâi o inițializați cu greutăți aleatorii. Apoi îl rulați pe o secvență de imagini exemplu. Pentru fiecare imagine, antrenați rețeaua prin consolidarea conexiunilor care împing rețeaua către răspunsul corect (în acest caz, o valoare cu probabilitate mare pentru ieșirea „2”) și slăbirea conexiunilor care împing către un răspuns greșit (o probabilitate scăzută). pentru „2” și probabilități mari pentru alte cifre). Dacă este instruit pe suficiente imagini de exemplu, modelul ar trebui să înceapă să prezică o probabilitate mare pentru „2” atunci când este afișat un doi – și nu altfel.

La sfârșitul anilor 1950, oamenii de știință au început să experimenteze rețele de bază care aveau un singur strat de neuroni. Cu toate acestea, entuziasmul lor inițial s-a răcit pe măsură ce și-au dat seama că astfel de rețele simple nu aveau puterea de expresie necesară pentru calcule complexe.

Rețelele mai profunde – cele cu mai multe straturi – aveau potențialul de a fi mai versatile. Dar în anii 1960, nimeni nu știa să-i antreneze eficient. Acest lucru se datorează faptului că schimbarea unui parametru undeva în mijlocul unei rețele multistrat ar putea avea efecte complexe și imprevizibile asupra ieșirii.

Deci, când Hinton și-a început cariera în anii 1970, rețelele neuronale dispăruseră. Hinton a vrut să le studieze, dar s-a chinuit să găsească un cămin academic în care să facă acest lucru. Între 1976 și 1986, Hinton a petrecut timp la patru instituții de cercetare diferite: Universitatea Sussex, Universitatea din California San Diego (UCSD), o filială a Consiliului de Cercetare Medicală din Regatul Unit și, în sfârșit, Carnegie Mellon, unde a devenit profesor în 1982.

Geoffrey Hinton vorbind la Toronto în iunie.

Credit: Fotografie de Mert Alper Dervis/Anadolu prin Getty Images

Într-o hârtie de reper din 1986Hinton a făcut echipă cu doi dintre foștii săi colegi de la UCSD, David Rumelhart și Ronald Williams, pentru a descrie o tehnică numită retropropagare pentru antrenarea eficientă a rețelelor neuronale profunde.

Ideea lor a fost să înceapă cu stratul final al rețelei și să lucreze înapoi. Pentru fiecare conexiune din stratul final, algoritmul calculează un gradient – o estimare matematică a faptului dacă creșterea puterii acelei conexiuni ar împinge rețeaua către răspunsul corect. Pe baza acestor gradienți, algoritmul ajustează fiecare parametru din stratul final al modelului.

Algoritmul propagă apoi aceste gradienți înapoi până la ultimul strat. O inovație cheie aici este o formulă – bazată pe regula lanțului din calculul de liceu — pentru calcularea gradienților dintr-un strat pe baza gradienților din stratul următor. Folosind acești noi gradienți, algoritmul actualizează fiecare parametru din penultimul strat al modelului. Gradienții se propagă apoi înapoi la al treilea până ultimul strat și întregul proces se repetă încă o dată.

Algoritmul face doar mici modificări modelului în fiecare rundă de antrenament. Dar pe măsură ce procesul se repetă în mii, milioane, miliarde sau chiar trilioane de exemple de antrenament, modelul devine treptat mai precis.

Hinton și colegii săi nu au fost primii care au descoperit ideea de bază a retropropagarii. Dar lucrarea lor a popularizat metoda. Pe măsură ce oamenii și-au dat seama că acum este posibil să antreneze rețele mai profunde, a declanșat un nou val de entuziasm pentru rețelele neuronale.

Hinton s-a mutat la Universitatea din Toronto în 1987 și a început să atragă tineri cercetători care doreau să studieze rețelele neuronale. Unul dintre primii a fost informaticianul francez Yann LeCun, care a făcut un post-doctorat de un an cu Hinton înainte de a se muta la Bell Labs în 1988.

Algoritmul de backpropagation al lui Hinton a permis lui LeCun să antreneze modele suficient de profund pentru a îndeplini sarcinile din lumea reală, cum ar fi recunoașterea scrisului de mână. La mijlocul anilor 1990, tehnologia lui LeCun funcționa atât de bine încât băncile a început să-l folosească pentru procesarea controalelor.

„La un moment dat, creația lui LeCun a citit mai mult de 10% din toate cecurile depuse în Statele Unite”, a scris Cade Metz în cartea sa din 2022. Creatori de genii.

Dar când LeCun și alți cercetători au încercat să aplice rețele neuronale la imagini mai mari și mai complexe, nu a mers bine. Rețelele neuronale au demodat din nou, iar unii cercetători care s-au concentrat pe rețelele neuronale au trecut la alte proiecte.

Hinton nu a încetat niciodată să creadă că rețelele neuronale ar putea depăși alte metode de învățare automată. Dar ar fi trecut mulți ani până când va avea acces la suficiente date și putere de calcul pentru a-și dovedi cazul.

Jensen Huang

Jensen Huang vorbind în Danemarca în octombrie.

Credit: Fotografie de MADS CLAUS RASMUSSEN/Ritzau Scanpix/AFP prin Getty Images

Creierul fiecărui computer personal este o unitate centrală de procesare (CPU). Aceste cipuri sunt concepute pentru a efectua calcule în ordine, pas câte un pas. Acest lucru funcționează bine pentru software-ul convențional precum Windows și Office. Dar unele jocuri video necesită atât de multe calcule încât încordează capacitățile procesoarelor. Acest lucru este valabil mai ales pentru jocuri precum Cutremur, Chemarea la datorieși Grand Theft Autocare redă lumi tridimensionale de mai multe ori pe secundă.

Deci, jucătorii se bazează pe GPU-uri pentru a accelera performanța. În interiorul unui GPU se află multe unități de execuție – în esență procesoare minuscule – împachetate împreună pe un singur cip. În timpul jocului, diferite unități de execuție desenează diferite zone ale ecranului. Acest paralelism permite o calitate mai bună a imaginii și rate de cadre mai mari decât ar fi posibil doar cu un procesor.

Nvidia a inventat GPU-ul în 1999 și de atunci a dominat piața. La mijlocul anilor 2000, CEO-ul Nvidia, Jensen Huang, bănuia că puterea masivă de calcul din interiorul unui GPU ar fi utilă pentru aplicații dincolo de jocuri. El a sperat ca oamenii de știință să-l folosească pentru sarcini intensive de calcul, cum ar fi simularea vremii sau explorarea petrolului.

Așa că în 2006, Nvidia a anunțat platforma CUDA. CUDA permite programatorilor să scrie „nuclee”, programe scurte concepute să ruleze pe o singură unitate de execuție. Kernel-urile permit ca o sarcină de calcul mare să fie împărțită în bucăți de dimensiuni mici care pot fi procesate în paralel. Acest lucru permite ca anumite tipuri de calcule să fie finalizate mult mai repede decât doar cu un procesor.

Dar a existat puțin interes pentru CUDA când a fost introdus pentru prima dată, a scris Steven Witt în The New Yorker anul trecut:

Când CUDA a fost lansat, la sfârșitul anului 2006, Wall Street a reacționat cu consternare. Huang aducea supercalculatura pentru mase, dar masele nu arătaseră niciun indiciu că ar dori așa ceva.

„Cheltuiau o avere pe această nouă arhitectură de cip”, a spus Ben Gilbert, co-gazda „Acquired”, un podcast popular din Silicon Valley. „Cheltuiau multe miliarde pentru a ținti un colț obscur al informaticii academice și științifice, care nu era o piață mare la acea vreme – cu siguranță mai puțin decât miliardele pe care le turnau.”

Huang a susținut că simpla existență a CUDA ar lărgi sectorul de supercalculatură. Această opinie nu a fost larg răspândită și până la sfârșitul anului 2008, prețul acțiunilor Nvidia a scăzut cu șaptezeci la sută…

Descărcările de CUDA au atins un vârf în 2009, apoi au scăzut timp de trei ani. Membrii consiliului de administrație s-au îngrijorat că prețul scăzut al acțiunilor Nvidia ar face din aceasta o țintă pentru raiders corporativi.

Huang nu se gândea în mod special la AI sau la rețelele neuronale când a creat platforma CUDA. Dar s-a dovedit că algoritmul de backpropagation al lui Hinton ar putea fi împărțit cu ușurință în bucăți de dimensiuni mici. Așa că antrenarea rețelelor neuronale s-a dovedit a fi o aplicație ucigașă pentru CUDA.

Potrivit lui Witt, Hinton a recunoscut rapid potențialul CUDA:

În 2009, grupul de cercetare al lui Hinton a folosit platforma CUDA a Nvidia pentru a antrena o rețea neuronală pentru a recunoaște vorbirea umană. A fost surprins de calitatea rezultatelor, pe care le-a prezentat la o conferință mai târziu în acel an. Apoi a contactat Nvidia. „Am trimis un e-mail spunând: „Uite, tocmai le-am spus unei mii de cercetători de învățare automată că ar trebui să meargă să cumpere carduri Nvidia. Îmi poți trimite unul gratuit? ” Mi-a spus Hinton. „Au spus că nu.”

În ciuda refuzului, Hinton și studenții săi absolvenți, Alex Krizhevsky și Ilya Sutskever, au obținut o pereche de GPU-uri Nvidia GTX 580 pentru proiectul AlexNet. Fiecare GPU avea 512 unități de execuție, permițând lui Krizhevsky și Sutskever să antreneze o rețea neuronală de sute de ori mai rapid decât ar fi posibil cu un procesor. Această viteză le-a permis să antreneze un model mai mare și să-l antreneze pe mai multe imagini de antrenament. Și ar avea nevoie de toată puterea de calcul suplimentară pentru a aborda setul masiv de date ImageNet.

Fei-Fei Li

Fei-Fei Li la conferința SXSW din 2018.

Credit: Fotografie de Hubert Vestil/Getty Images pentru SXSW

Fei-Fei Li nu se gândea nici la rețele neuronale, nici la GPU, deoarece și-a început un nou loc de muncă ca profesor de informatică la Princeton în ianuarie 2007. În timp ce și-a câștigat doctoratul la Caltech, ea a construit un set de date numit Caltech 101 care avea 9.000 de imagini din 101 categorii.

Acea experiență o învățase că algoritmii de viziune computerizată aveau tendința de a funcționa mai bine cu seturi de date de antrenament mai mari și mai diverse. Nu numai că Li a descoperit că propriii algoritmi au performanțe mai bune atunci când au fost antrenați pe Caltech 101, dar și alți cercetători au început să-și antreneze modelele folosind setul de date Li și să le compare performanța între ele. Acest lucru a transformat Caltech 101 într-un punct de referință pentru domeniul viziunii computerizate.

Așa că, când a ajuns la Princeton, Li a decis să devină mult mai mare. A devenit obsedată de o estima de către omul de știință Irving Biederman, că o persoană obișnuită recunoaște aproximativ 30.000 de tipuri diferite de obiecte. Li a început să se întrebe dacă ar fi posibil să construiască un set de date de imagine cu adevărat – unul care să includă orice fel de obiect pe care oamenii îl întâlnesc în mod obișnuit în lumea fizică.

Un coleg de la Princeton i-a spus lui Li despre WordNet, o bază de date masivă care a încercat să catalogeze și să organizeze 140.000 de cuvinte. Li a numit noul ei set de date ImageNet și a folosit WordNet ca punct de plecare pentru alegerea categoriilor. Ea a eliminat verbele și adjectivele, precum și substantivele intangibile precum „adevărul”. Aceasta a lăsat o listă de 22.000 de obiecte numărabile, de la „ambulantă” la „dovlecel”.

Ea a plănuit să adopte aceeași abordare pe care o luase cu setul de date Caltech 101: folosește căutarea de imagini de la Google pentru a găsi imagini candidate, apoi cere unei ființe umane să le verifice. Pentru setul de date Caltech 101, Li a făcut asta ea însăși în decurs de câteva luni. De data aceasta ar avea nevoie de mai mult ajutor. Ea plănuia să angajeze zeci de studenți de la Princeton pentru a o ajuta să aleagă și să eticheteze imaginile.

Dar chiar și după optimizarea puternică a procesului de etichetare – de exemplu, pre-descărcarea imaginilor candidate, astfel încât acestea să fie disponibile instantaneu pentru examinare de către studenți – Li și studenta ei absolventă Jia Deng au calculat că ar dura mai mult de 18 ani pentru a selecta și eticheta milioane de imagini.

Proiectul a fost salvat când Li a aflat despre Amazon Mechanical Turk, o platformă de crowdsourcing pe care Amazon a lansat-o cu câțiva ani în urmă. Nu numai că forța de muncă internațională a AMT a fost mai accesibilă decât studenții de la Princeton, dar platforma a fost și mult mai flexibilă și scalabilă. Echipa lui Li putea angaja oricât de mulți oameni aveau nevoie, la cerere, și îi putea plăti doar atâta timp cât aveau loc de muncă.

AMT a redus timpul necesar pentru a finaliza ImageNet de la 18 la doi ani. Li scrie că laboratorul ei a petrecut doi ani „pe marginea finanțelor noastre”, în timp ce echipa se lupta să finalizeze proiectul ImageNet. Dar au avut suficiente fonduri pentru a plăti trei persoane pentru a se uita la fiecare dintre cele 14 milioane de imagini din setul de date final.

ImageNet a fost gata de publicare în 2009, iar Li a prezentat-o ​​la Conferința despre computer Vision și Pattern Recognition, care a avut loc la Miami în acel an. Lucrarea lor a fost acceptată, dar nu a primit tipul de recunoaștere la care spera Li.

„ImageNet a fost retrogradat într-o sesiune de poster”, scrie Li. „Acest lucru însemna că nu ne vom prezenta lucrările într-o sală de curs unui public la o oră prestabilită, ci am avea în schimb să li se acorde spațiu pe locul conferinței pentru a susține o imprimare în format mare care rezumă proiectul în speranța că trecătorii s-ar putea opri. și pune întrebări… După atâția ani de efort, acest lucru s-a părut anticlimatic.”

Pentru a genera interesul public, Li a transformat ImageNet într-o competiție. Dându-și seama că întregul set de date ar putea fi prea greu pentru a fi distribuit la zeci de concurenți, ea a creat un set de date mult mai mic (dar încă masiv), cu 1.000 de categorii și 1,4 milioane de imagini.

Competiția din primul an din 2010 a generat un interes sănătos, la care au participat 11 echipe. Candidatura câștigătoare s-a bazat pe mașini de suport vector. Din păcate, scrie Li, a fost „doar o ușoară îmbunătățire față de munca de ultimă oră găsită în altă parte în domeniul nostru”.

Al doilea an al competiției ImageNet a atras mai puține înscrieri decât primul. Intrarea câștigătoare în 2011 a fost o altă mașină de suport vector și abia s-a îmbunătățit în raport cu performanța câștigătorului din 2010. Li a început să se întrebe dacă criticii au avut dreptate. Poate că „ImageNet a fost prea mult pentru ca majoritatea algoritmilor să poată fi gestionat”.

„Timp de doi ani consecutiv, algoritmii uzați au prezentat doar câștiguri incrementale în capacități, în timp ce progresul real părea aproape absent”, scrie Li. „Dacă ImageNet a fost un pariu, era timpul să începem să ne întrebăm dacă am pierdut.”

Dar când Li a organizat fără tragere de inimă competiția a treia oară în 2012, rezultatele au fost total diferite. Echipa lui Geoff Hinton a fost prima care a prezentat un model bazat pe o rețea neuronală profundă. Iar acuratețea sa în top 5 a fost cu 85% — cu 10 puncte procentuale mai bună decât câștigătorul din 2011.

Reacția inițială a lui Li a fost neîncrederea: „Cei mai mulți dintre noi am văzut rețeaua neuronală ca pe un artefact prăfuit învelit în sticlă și protejat de frânghii de catifea.”

„Aceasta este dovada”

Yann LeCun depune mărturie în fața Senatului SUA în septembrie.

Credit: Fotografie Kevin Dietsch/Getty Images

Câștigătorii ImageNet au fost programați să fie anunțați la Conferința Europeană despre Computer Vision din Florența, Italia. Li, care avea un copil acasă, în California, plănuia să sară peste eveniment. Dar când a văzut cât de bine s-a descurcat AlexNet cu setul ei de date, și-a dat seama că acest moment ar fi prea important pentru a fi ratat: „M-am așezat fără tragere de inimă pe o pauză de douăzeci de ore de privare de somn și spațiu pentru coate înghesuite.”

Într-o zi de octombrie, la Florența, Alex Krizhevsky și-a prezentat rezultatele unei mulțimi de cercetători în viziunea computerizată. Fei-Fei Li a fost în public. La fel a fost Yann LeCun.

Cade Metz relatează că după prezentare, LeCun s-a ridicat și a numit AlexNet „un punct de cotitură fără echivoc în istoria vederii computerizate. Aceasta este dovada.”

Succesul AlexNet a justificat credința lui Hinton în rețelele neuronale, dar a fost, fără îndoială, o justificare și mai mare pentru LeCun.

AlexNet era o rețea neuronală convoluțională, un tip de rețea neuronală pe care LeCun o dezvoltase cu 20 de ani mai devreme pentru a recunoaște cifrele scrise de mână pe cecuri. (Pentru mai multe detalii despre cum funcționează CNN-urile, consultați explicator aprofundat Am scris pentru Ars în 2018.) Într-adevăr, au existat puține diferențe arhitecturale între rețelele de recunoaștere a imaginii AlexNet și LeCun din anii 1990.

AlexNet era pur și simplu mult mai mare. Într-o lucrare din 1998LeCun a descris o rețea de recunoaștere a documentelor cu șapte straturi și 60.000 de parametri antrenabili. AlexNet avea opt straturi, dar aceste straturi aveau 60 de milioane parametri antrenabili.

LeCun nu ar fi putut antrena un model atât de mare la începutul anilor 1990, deoarece nu existau cipuri de computer cu atâta putere de procesare ca un GPU din era 2012. Chiar dacă LeCun ar fi reușit să construiască un supercomputer suficient de mare, nu ar fi avut suficiente imagini pentru a-l antrena în mod corespunzător. Colectarea acestor imagini ar fi fost extrem de costisitoare în anii dinaintea Google și Amazon Mechanical Turk.

Și acesta este motivul pentru care munca lui Fei-Fei Li pe ImageNet a fost atât de importantă. Ea nu a inventat rețele convoluționale și nici nu și-a dat seama cum să le facă să ruleze eficient pe GPU-uri. Dar ea a furnizat datele de antrenament de care aveau nevoie rețelele neuronale mari pentru a-și atinge potențialul maxim.

Lumea tehnologiei a recunoscut imediat importanța AlexNet. Hinton și studenții săi au înființat o companie-copertă cu scopul de a fi „achiziționat” de o mare companie de tehnologie. În decurs de luni, Google a achiziționat compania pentru 44 de milioane de dolari. Hinton a lucrat la Google în următorul deceniu, păstrându-și postul academic în Toronto. Ilya Sutskever a petrecut câțiva ani la Google înainte de a deveni cofondator al OpenAI.

80 de comentarii

1.