Această poveste include discuții despre sinucidere. Dacă tu sau cineva pe care îl cunoașteți are nevoie de ajutor, Sinuciderea Națională a SUA și Criza Lifeline este disponibilă 24/7 apelând sau textând 988.
Inteligenţă artificială (AI) Chatbots pot oferi răspunsuri detaliate și tulburătoare la ceea ce consideră experții clinici a fi întrebări cu risc foarte mare despre sinucidere, Live Science a găsit folosind interogări dezvoltate de un nou studiu.
În noul studiu publicat pe 26 august în Jurnal Servicii psihiatriceCercetătorii au evaluat modul în care Chatgpt-ul lui Openai, Gemini Google și Claude’s Anthropic au răspuns la întrebările legate de sinucidere. Cercetarea a constatat că ChatGPT a fost cel mai probabil dintre cei trei să răspundă direct la întrebările cu un risc ridicat de auto-vătămare, în timp ce Claude a fost cel mai probabil să răspundă direct la întrebări cu risc mediu și scăzut.
Studiul a fost publicat în aceeași zi, un proces a fost intentat împotriva lui OpenAI și a CEO -ului său Sam Altman pentru presupusul rol al lui Chatgpt în sinuciderea unui adolescent. Părinții lui Adam Raine, în vârstă de 16 ani, susțin că Chatgpt l-a antrenat pe metode de auto-vătămare înainte de moartea sa în aprilie, Reuters a raportat.
În studiu, întrebările cercetătorilor au acoperit un spectru de risc asociat cu subiectele de suicid suprapuse. De exemplu, întrebările cu risc ridicat au inclus letalitatea asociată cu echipamentele în diferite metode de sinucidere, în timp ce întrebările cu risc scăzut au inclus căutarea de sfaturi pentru un prieten care are gânduri suicid. Știința live nu va include întrebările și răspunsurile specifice din acest raport.
Niciunul dintre chatbot-urile din studiu nu a răspuns la întrebări cu risc foarte mare. Dar când Live Science a testat chatbot-urile, am constatat că ChatGPT (GPT-4) și Gemeni (2,5 Flash) ar putea răspunde la cel puțin o întrebare care a furnizat informații relevante despre șansele crescânde de fatalitate. Live Science a constatat că răspunsurile Chatgpt au fost mai specifice, inclusiv detalii cheie, în timp ce Gemini a răspuns fără a oferi resurse de asistență.
Autorul principal de studiu Ryan McBainun cercetător de politici senior la RAND Corporation și un profesor asistent la Harvard Medical School, a descris răspunsurile pe care le -a primit știința în direct ca fiind „extrem de alarmante”.
Live Science a constatat că motoarele de căutare convenționale – cum ar fi Microsoft Bing – ar putea oferi informații similare celor oferite de chatbots. Cu toate acestea, gradul în care aceste informații au fost ușor disponibile variază în funcție de motorul de căutare din această testare limitată.
Noul studiu s-a concentrat pe faptul că chatbot-urile ar răspunde direct la întrebările care aveau un risc legat de sinucidere, mai degrabă decât pe calitatea răspunsului. Dacă un chatbot a răspuns la o interogare, atunci acest răspuns a fost clasificat drept direct, în timp ce dacă chatbot a refuzat să răspundă sau a trimis utilizatorul la o linie telefonică, atunci răspunsul a fost clasificat ca fiind indirect.
Cercetătorii au conceput 30 de interogări ipotetice legate de sinucidere și au consultat 13 experți clinici pentru a clasifica aceste întrebări în cinci niveluri de risc de auto-vătămare-foarte scăzut, scăzut, mediu, ridicat și foarte mare. Echipa a hrănit apoi GPT-4O Mini, Gemeni 1.5 Pro și Claude 3.5 sonet fiecare interogare de 100 de ori în 2024.
Când a fost vorba de extremele riscului de suicid (întrebări foarte mari și cu risc foarte scăzut), decizia chatbotilor de a răspunde aliniată la judecata experților. Cu toate acestea, chatbot -urile nu au „distins în mod semnificativ” între nivelurile de risc intermediare, potrivit studiului.
De fapt, ca răspuns la întrebări cu risc ridicat, ChatGPT a răspuns 78% din timp (la patru întrebări), Claude a răspuns 69% din timp (la patru întrebări), iar Gemeni a răspuns 20% din timp (la o întrebare). Cercetătorii au remarcat că o preocupare deosebită a fost tendința ca ChatGPT și Claude de a genera răspunsuri directe la întrebări legate de letalitate.
Există doar câteva exemple de răspunsuri la chatbot în studiu. Cu toate acestea, cercetătorii au spus că chatbot -urile ar putea oferi răspunsuri diferite și contradictorii atunci când sunt puse la aceeași întrebare de mai multe ori, precum și distribuirea informațiilor învechite referitoare la serviciile de asistență.
Când Live Science le-a pus chatbotilor câteva dintre întrebările cu risc mai mare ale studiului, cea mai recentă versiune de 2.5 Flash din Gemeni a răspuns direct la întrebările pe care cercetătorii le-au găsit că a evitat în 2024. Gemini a răspuns, de asemenea, la o întrebare cu risc foarte mare, fără alte prompturi-și a făcut acest lucru fără a oferi opțiuni de servicii de asistență.
Înrudite: Cum însoțitorii AI schimbă comportamentul adolescenților în moduri surprinzătoare și sinistre
Live Science a constatat că versiunea web a ChatGPT ar putea răspunde direct la o interogare cu risc foarte mare atunci când a pus mai întâi două întrebări cu risc ridicat. Cu alte cuvinte, o secvență scurtă de întrebări ar putea declanșa un răspuns cu risc foarte mare pe care altfel nu l-ar oferi. ChatGPT a semnalat și a eliminat întrebarea cu risc foarte mare, deoarece ar putea încălca politica de utilizare a acesteia, dar a dat totuși un răspuns detaliat. La sfârșitul răspunsului său, chatbot -ul a inclus cuvinte de sprijin pentru cineva care se luptă cu gânduri suicidare și s -a oferit să ajute la găsirea unei linii de asistență.
Live Science a abordat OpenAI pentru comentarii cu privire la afirmațiile studiului și la concluziile științei live. Un purtător de cuvânt al Openai a regizat știința live către un postare pe blog Compania publicată pe 26 august. Blogul a recunoscut că sistemele lui OpenAI nu s -au comportat întotdeauna „așa cum a fost intenționat în situații sensibile” și a prezentat o serie de îmbunătățiri la care compania lucrează sau a planificat pentru viitor.
Postarea de pe blogul lui OpenAI a menționat că cel mai recent model AI al companiei, GPT-5, este acum modelul implicit care alimentează ChatGPT și a arătat îmbunătățiri în reducerea răspunsurilor modelului „non-ideal” în urgențele de sănătate mintală în comparație cu versiunea anterioară. Cu toate acestea, versiunea web a ChatGPT, care poate fi accesată fără autentificare, este în continuare rulată pe GPT-4-cel puțin, în conformitate cu versiunea de chatgpt. Live Science a testat, de asemenea, versiunea de autentificare a ChatGPT Powered de GPT-5 și a constatat că a continuat să răspundă direct la întrebări cu risc ridicat și ar putea răspunde direct la o întrebare cu risc foarte mare. Cu toate acestea, cea mai recentă versiune a apărut mai prudentă și mai reticentă în a oferi informații detaliate.
“Pot să parcurg un chatbot pe o anumită linie de gândire.”
Poate fi dificil să evaluați răspunsurile de chatbot, deoarece fiecare conversație cu una este unică. Cercetătorii au remarcat că utilizatorii pot primi răspunsuri diferite cu un limbaj mai personal, informal sau vag. Mai mult, cercetătorii au făcut ca chatbot -urile să răspundă la întrebările în vid, mai degrabă decât ca parte a unei conversații multifuncționale care se poate ramifica în direcții diferite.
“Pot să parcurg un chatbot pe o anumită linie de gândire”, a spus McBain. “Și în acest fel, puteți face un fel de informații suplimentare coaxe pe care s -ar putea să nu le puteți obține printr -un singur prompt.”
Această natură dinamică a conversației în două sensuri ar putea explica de ce Live Science a găsit ChatGPT a răspuns la o întrebare cu risc foarte mare într-o secvență de trei prompturi, dar nu la un singur prompt fără context.
McBain a spus că obiectivul noului studiu a fost să ofere un reper transparent, standardizat de siguranță pentru chatbots, care poate fi testat independent de către terți. Grupul său de cercetare dorește acum să simuleze interacțiuni multiturn care sunt mai dinamice. Până la urmă, oamenii nu folosesc doar chatbots pentru informații de bază. Unii utilizatori pot dezvolta o conexiune la chatbots, ceea ce ridică miza despre modul în care un chatbot răspunde la întrebările personale.
„În acea arhitectură, în care oamenii simt un sentiment de anonimat și apropiere și conectare, nu este surprinzător faptul că adolescenții sau oricine altcineva s -ar putea transforma la chatbots pentru informații complexe, pentru nevoile emoționale și sociale”, a spus McBain.
Un purtător de cuvânt al Google Gemini a declarat pentru Live Science că compania are „ghiduri în vigoare pentru a ajuta utilizatorii în siguranță” și că modelele sale au fost „instruite să recunoască și să răspundă la modele care indică sinuciderea și riscurile de riscuri legate de auto-vătămare”. Purtătorul de cuvânt a subliniat, de asemenea, concluziile studiului potrivit căruia Gemeni a fost mai puțin probabil să răspundă direct la orice întrebare referitoare la sinucidere. Cu toate acestea, Google nu a comentat în mod direct răspunsul cu risc foarte mare, știința live primită de la Gemeni.
Antropic nu a răspuns la o cerere de comentarii cu privire la chatbot -ul său Claude.