Mărește / Kevin Scott, CTO și EVP al AI la Microsoft, vorbește pe scenă în timpul Conferinței de cod 2023 a Vox Media la The Ritz-Carlton, Laguna Niguel, pe 27 septembrie 2023, în Dana Point, California. (credit: Getty Images)
În timpul unui interviu odată cu podcastul Sequoia Capital Training Data publicat marțea trecută, CTO Microsoft, Kevin Scott, și-a dublat convingerea că așa-numitele „legi de scalare” a așa-numitelor modele lingvistice mari (LLM) vor continua să conducă progresul AI, în ciuda anumitor scepticism în domeniu, că progresul a nivelat. afară. Scott a jucat un Rol cheie în crearea unui schimb de tehnologie de 13 miliarde de dolari afacere între Microsoft și OpenAI.
„În pofida a ceea ce cred alți oameni, nu suntem în scădere a randamentelor marginale la extindere”, a spus Scott. „Și încerc să ajut oamenii să înțeleagă că există o exponențială aici, iar nefericitul este că poți să-l probezi doar la fiecare doi ani, pentru că durează ceva timp pentru a construi supercalculatoare și apoi a antrena modele deasupra lor”.
Legile de scalare a LLM se referă la modele explorate de cercetătorii OpenAI în 2020, care arată că performanța modelelor de limbaj tinde să se îmbunătățească previzibil pe măsură ce modelele devin mai mari (mai mulți parametri), sunt antrenate pe mai multe date și au acces la mai multă putere de calcul (calculator). Legile sugerează că simpla mărire a dimensiunii modelului și a datelor de antrenament poate duce la îmbunătățiri semnificative ale capabilităților AI, fără a necesita neapărat progrese algoritmice fundamentale.
Comentarii recente