Luni, un dezvoltator care folosește popularul editor de cod alimentat cu AI Cursor Observat ceva ciudat: comutarea între mașini le -a deconectat instantaneu, ruperea unui flux de lucru comun pentru programatorii care folosesc mai multe dispozitive. Când utilizatorul a contactat Cursor Support, un agent numit „Sam” le -a spus că este un comportament așteptat în cadrul unei noi politici. Dar nu a existat o astfel de politică, iar Sam a fost un bot. Modelul AI a creat politica, stârnind un val de reclamații și amenințări de anulare documentate pe Hacker News şi Reddit.
Aceasta marchează cea mai recentă instanță de AI confabulări (numit și „halucinații”) provocând daune potențiale de afaceri. Confabulațiile sunt un tip de răspuns „creativă de umplere a decalajului” în care modelele AI inventează informații plauzibile, dar false. În loc să admită incertitudinea, modelele AI prioritizează adesea crearea de răspunsuri plauzibile și încrezătoare, chiar și atunci când asta înseamnă fabricarea informațiilor de la zero.
Pentru companiile care implementează aceste sisteme în roluri orientate către clienți fără supraveghere umană, consecințele pot fi imediate și costisitoare: clienți frustrați, încredere deteriorată și, în cazul cursorului, abonamente potențial anulate.
Comentarii recente