Pentru a veni cu numere tipice, echipa care a făcut analiza a urmărit cererile și hardware -ul care le -a servit pentru o perioadă de 24 de ore, precum și timpul inactiv pentru acel hardware. Acest lucru le oferă o estimare a energiei pe cerere, care diferă în funcție de modelul utilizat. Pentru fiecare zi, identifică promptul median și îl folosesc pentru a calcula impactul asupra mediului.
Coborând
Folosind aceste estimări, ei consideră că impactul unei solicitări de text individuale este destul de mic. „Estimăm că promptul de text median al aplicațiilor gemini folosește 0,24 watt-ore de energie, emite 0,03 grame de echivalent cu dioxid de carbon (GCO2E) și consumă 0,26 mililitri (sau aproximativ cinci picături) de apă”, concluzionează acestea. Pentru a spune asta în context, ei estimează că utilizarea energiei este similară cu aproximativ nouă secunde de vizionare TV.
Vestea proastă este că volumul cererilor este, fără îndoială, foarte mare. Compania a ales să execute o operațiune AI cu fiecare cerere de căutare, o cerere de calcul care pur și simplu nu a existat acum câțiva ani. Deci, în timp ce impactul individual este mic, costul cumulativ este probabil să fie considerabil.
Vestea bună? Cu doar un an în urmă, ar fi fost mult mai rău.
Unele dintre acestea sunt doar la circumstanțe. Cu Boom în energia solară În SUA și în alte părți, a devenit mai ușor pentru Google să aranjeze energie regenerabilă. Drept urmare, emisiile de carbon pe unitatea de energie consumată a înregistrat o reducere de 1,4x în ultimul an. Dar cele mai mari victorii au fost pe partea software, unde diferite abordări au dus la o reducere de 33x a energiei consumate pe prompt.
Cea mai mare parte a consumului de energie în servirea cererilor AI provine din timpul petrecut în cipurile de accelerație personalizate. Credit: Elsworth, et. al.
Echipa Google descrie o serie de optimizări pe care compania le -a făcut care contribuie la acest lucru. Unul este o abordare denumită amestec de experți, care implică descoperirea modului de a activa doar porțiunea unui model AI necesar pentru a gestiona solicitări specifice, care pot scădea nevoile de calcul cu un factor de 10 până la 100. Au dezvoltat o serie de versiuni compacte ale modelului principal, care reduc și sarcina de calcul. Managementul centrului de date joacă, de asemenea, un rol, deoarece compania se poate asigura că orice hardware activ este utilizat pe deplin, permițând în același timp restului să rămână într-o stare de putere redusă.