Mărește / Imagini statice cu exemple video generate de AI furnizate de Google pentru modelul său de sinteză video Lumiere. (credit: Google)
Marți, Google a anunțat Lumiereun generator video AI pe care îl numește „un model de difuzie spațiu-timp pentru generarea video realistă” în hârtie de pretipărire însoțitoare. Dar să nu ne păcălim: face o treabă grozavă la crearea videoclipurilor cu animale drăguțe în scenarii ridicole, cum ar fi folosirea patinelor cu rotile, conducerea unei mașini sau cântând la pian. Sigur, poate face mai mult, dar este poate cel mai avansat generator de video AI text-to-animal demonstrat până acum.
Potrivit Google, Lumiere utilizează o arhitectură unică pentru a genera întreaga durată temporală a unui videoclip dintr-o singură mișcare. Sau, așa cum spune compania, „Introducem o arhitectură U-Net Space-Time care generează întreaga durată temporală a videoclipului dintr-o dată, printr-o singură trecere în model. Acest lucru este în contrast cu modelele video existente care sintetizează distanțe. cadre cheie urmate de super-rezoluție temporală — o abordare care face în mod inerent coerența temporală globală dificil de atins.”
În termeni profani, tehnologia Google este concepută pentru a gestiona atât aspectele legate de spațiu (unde sunt lucrurile în videoclip) cât și de timp (cum se mișcă și se schimbă lucrurile pe parcursul videoclipului) simultan. Deci, în loc să realizeze un videoclip prin adunarea mai multor părți mici sau cadre, poate crea întregul videoclip, de la început până la sfârșit, într-un proces simplu.
Comentarii recente