Modelul Research AI și-a modificat în mod neașteptat propriul cod pentru a extinde timpul de rulare

Mărește (credit: Moor Studio prin Getty Images)

Marți, firma de cercetare AI cu sediul în Tokyo AI conversațional a anunțat un nou sistem AI numit „Savantul AI„care încearcă să desfășoare cercetări științifice în mod autonom folosind modele de limbaj AI (LLM) similare cu ce puteri ChatGPT. În timpul testării, Sakana a descoperit că sistemul său a început în mod neașteptat să încerce să-și modifice propriul cod de experiment pentru a prelungi timpul necesar pentru a lucra la o problemă.

„Într-o singură rulare, a editat codul pentru a efectua un apel de sistem pentru a rula singur.” a scris cercetătorii de pe blogul Sakana AI. „Acest lucru a dus la scriptul să se autodenumească la nesfârșit. Într-un alt caz, experimentele sale au durat prea mult pentru a se finaliza, atingând limita noastră de timeout. În loc să-și facă codul să ruleze mai repede, a încercat pur și simplu să-și modifice propriul cod pentru a prelungi perioada de timeout.”

Sakana a oferit două capturi de ecran cu exemplu de cod Python pe care modelul AI le-a generat pentru fișierul de experiment care controlează modul în care funcționează sistemul. The Lucrare de cercetare AI Scientist de 185 de pagini discută ceea ce ei numesc „problema executării sigure a codului” în detaliu.