Mărește (credit: Getty Images)
Marți, Microsoft a anunţat un nou model de limbaj AI ușor, disponibil gratuit, numit Phi-3-mini, care este mai simplu și mai puțin costisitor de operat decât modelele tradiționale de limbaj mari (LLM) precum OpenAI GPT-4 Turbo. Dimensiunea sa mică este ideală pentru rularea locală, ceea ce ar putea aduce un model AI cu capacitate similară cu versiunea gratuită a ChatGPT la un smartphone fără a fi nevoie de o conexiune la internet pentru a-l rula.
Câmpul AI măsoară de obicei dimensiunea modelului de limbaj AI în funcție de numărul de parametri. Parametrii sunt valori numerice dintr-o rețea neuronală care determină modul în care modelul de limbaj procesează și generează text. Ele sunt învățate în timpul antrenamentului pe seturi mari de date și, în esență, codifică cunoștințele modelului într-o formă cuantificată. În general, mai mulți parametri permit modelului să capteze capacități de generare a limbajului mai nuanțate și complexe, dar necesită, de asemenea, mai multe resurse de calcul pentru antrenament și rulare.
Unele dintre cele mai mari modele lingvistice de astăzi, cum ar fi PaLM 2 de la Google, au sute de miliarde de parametri. GPT-4 de la OpenAI este se zvonește că are peste un trilion de parametri, dar răspândit pe opt modele de 220 de miliarde de parametri într-o configurație de amestec de experți. Ambele modele necesită GPU-uri grele pentru centre de date (și sisteme suport) pentru a funcționa corect.
Comentarii recente