Joi, laboratoarele Inception au lansat Codificatorul Mercurun nou model de limbaj AI care folosește tehnici de difuzie pentru a genera text mai rapid decât modelele convenționale. Spre deosebire de modelele tradiționale care creează text text după cuvânt – cum ar fi genul care alimentează Chatgpt-Modele bazate pe difuzie precum Mercur produc răspunsuri întregi simultan, rafinându-le dintr-o stare inițial mascată în text coerent.
Modelele tradiționale de limbaj mare construiesc text de la stânga la dreapta, un simbol la un moment dat. Ei folosesc o tehnică numită „Autoregresie„Fiecare cuvânt trebuie să aștepte toate cuvintele anterioare înainte de a apărea. Inspirat de tehnici de la modele de generare a imaginii precum Difuzie stabilă, Dinși Midjourneymodele de limbaj de difuzie text precum Llada (Dezvoltat de cercetători de la Universitatea Renmin și Ant Group) și Mercur folosesc o abordare bazată pe mascare. Aceste modele încep cu conținut complet întunecat și „denoise” treptat producția, dezvăluind toate părțile răspunsului simultan.
În timp ce modelele de difuzie a imaginii adaugă zgomot continuu la valorile pixelilor, modelele de difuzie text nu pot aplica zgomot continuu la jetoane discrete (bucăți de date text). În schimb, înlocuiesc jetoanele cu jetoane speciale de mască ca echivalent text al zgomotului. În LLADA, probabilitatea de mascare controlează nivelul de zgomot, cu o mascare ridicată reprezentând zgomot ridicat și mascare scăzută reprezentând zgomot redus. Procesul de difuzie se deplasează de la zgomot ridicat la zgomot redus. Deși LLADA descrie acest lucru folosind terminologia de mascare, iar mercurul folosește terminologia zgomotului, ambele aplică un concept similar generației de text înrădăcinate în difuzie.
Comentarii recente