Marketerii promovează instrumentele de dezvoltator asistate de A-uri ca cai de lucru care sunt esențiali pentru inginerul software de astăzi. Platforma de dezvoltatori Gitlab, de exemplu, susține că duo-chatbot-ul său poate „genera instantaneu o listă de activități” care elimină povara „vadului prin săptămâni de angajamente”. Ceea ce nu spun aceste companii este că aceste instrumente sunt, prin temperament, dacă nu implicit, ușor păcălite de actori rău intenționați să efectueze acțiuni ostile împotriva utilizatorilor lor.
Cercetătorii de la firma de securitate legitim joi demonstrat Un atac care a indus duo -ul în introducerea codului rău intenționat într -un script la care a fost instruit să scrie. Atacul ar putea, de asemenea, să scurgă datele private și datele private ale problemei confidențiale, cum ar fi detaliile de vulnerabilitate de zi zero. Tot ce este necesar este ca utilizatorul să instruiască chatbot -ul să interacționeze cu o cerere de îmbinare sau un conținut similar de la o sursă exterioară.
Lama cu două tăișuri a asistenților AI
Mecanismul de declanșare a atacurilor este, desigur, injecții prompte. Printre cele mai frecvente forme de exploatări de chatbot, injecțiile prompte sunt încorporate în conținut cu care este solicitat să lucreze, cum ar fi un e -mail pentru a răspunde, un calendar de consultat sau o pagină web pentru a rezuma. Asistenții mari bazate pe modele de limbaj sunt atât de dornici să urmeze instrucțiunile, încât vor lua comenzi de aproape oriunde, inclusiv surse care pot fi controlate de actori rău intenționați.
Comentarii recente