În lumea AI, o vulnerabilitate numită „injecție promptă” a bântuit dezvoltatorii de când chatbot -urile au mers mainstream în 2022. În ciuda numeroaselor încercări de a rezolva această vulnerabilitate fundamentală – echivalentul digital al șoptind instrucțiuni secrete Pentru a trece peste comportamentul intenționat al unui sistem – niciunul nu a găsit o soluție fiabilă. Până acum, poate.
Google DeepMind are Camel dezvăluit (Capacitățile pentru învățarea automată), o nouă abordare pentru oprirea atacurilor de injecție promptă care abandonează strategia eșuată de a avea modele AI polițiști. În schimb, Camel tratează modelele de limbă ca componente fundamental de încredere într -un cadru software sigur, creând limite clare între comenzile utilizatorului și conținut potențial răuvoitor.
Noile Paper Grounds Design Camel în principiile de securitate software consacrată, cum ar fi Controlează integritatea fluxului (CFI), Controlul accesuluiși Controlul fluxului informațional (IFC), adaptarea deceniilor de înțelepciune a ingineriei de securitate la provocările LLMS.
Comentarii recente