În domeniul național al hacking -ului AI, injecția promptă indirectă a devenit un bloc de bază de bază pentru inducerea chatbots -ului pentru a exfiltra date sensibile sau pentru a efectua alte acțiuni rău intenționate. Dezvoltatorii de platforme precum Google Gemini și ChatGPT de la OpenAI sunt, în general, buni în conectarea acestor găuri de securitate, dar hackerii continuă să găsească noi modalități de a le trece prin ele din nou și din nou.
Luni, cercetătorul Johann Rehberger a demonstrat o nouă modalitate de a trece peste apărarea promptă a apărărilor de injecție pe care Google le -au încorporat în Gemeni – în mod specific, apărări care restricționează invocarea spațiului de lucru Google sau a altor instrumente sensibile la procesarea datelor necredințate, cum ar fi e -mailuri primite sau documente partajate. Rezultatul atacului lui Rehberger este plantarea permanentă a amintirilor pe termen lung care vor fi prezente în toate sesiunile viitoare, deschizând potențialul pentru chatbot de a acționa asupra informațiilor false sau a instrucțiunilor în perpetuitate.
Gullibilitate incurabilă
Mai multe despre atac mai târziu. Deocamdată, aici este o scurtă revizuire a injecțiilor prompt indirecte: solicitări în contextul modelelor de limbaj mare (LLM) sunt instrucțiuni, furnizate fie de dezvoltatorii de chatbot, fie de persoana care folosește chatbot -ul, pentru a îndeplini sarcini, cum ar fi rezumarea unui e -mail sau redactarea unui răspuns. Dar dacă acest conținut conține o instrucțiune rău intenționată? Se dovedește că chatbot -urile sunt atât de dornice să urmeze instrucțiunile, încât adesea își iau ordinele dintr -un astfel de conținut, chiar dacă nu a existat niciodată intenția ca acesta să acționeze ca un prompt.
Comentarii recente