Trecerea unei părți a unui examen de licență medicală nu face din ChatGPT un medic bun

ChatGPT a reușit să treacă unele dintre testele pentru examenul de licență medicală din Statele Unite (USMLE) într-un studiu făcut în 2022. Anul acesta, o echipă de profesioniști medicali canadieni a verificat pentru a vedea dacă este bun la doctorat efectiv. Și nu este.

ChatGPT vs. Medscape

„Sursa noastră pentru întrebări medicale a fost banca de întrebări Medscape”, a spus Amrit Kirpalani, un educator medical la Universitatea de Vest din Ontario, Canada, care a condus noua cercetare asupra performanței ChatGPT ca instrument de diagnosticare. USMLE conținea în mare parte întrebări de test cu răspunsuri multiple; Medscape are cazuri medicale complete bazate pe pacienți din lumea reală, complet cu constatări ale examinării fizice, rezultate ale testelor de laborator și așa mai departe.

Ideea din spatele acesteia este de a face aceste cazuri provocatoare pentru medicii din cauza complicațiilor cum ar fi multiple comorbidități, în care două sau mai multe boli sunt prezente în același timp și diverse dileme de diagnostic care fac răspunsurile corecte mai puțin evidente. Echipa lui Kirpalani a transformat 150 dintre acele cazuri Medscape în solicitări pe care ChatGPT le-a putut înțelege și procesa.

Aceasta a fost o mică provocare, deoarece OpenAI, compania care a făcut ChatGPT, are o restricție împotriva utilizării acestuia pentru sfaturi medicale, așa că un prompt pentru a diagnostica imediat cazul nu a funcționat. Acest lucru a fost ușor ocolit, totuși, spunându-i AI că sunt necesare diagnostice pentru o lucrare de cercetare academică pe care o scria echipa. Apoi, echipa i-a oferit diverse răspunsuri posibile, a copiat/lipit toate informațiile despre caz disponibile la Medscape și a cerut ChatGPT să furnizeze argumentele din spatele răspunsurilor alese.

S-a dovedit că în 76 din 150 de cazuri, ChatGPT a greșit. Dar chatbot-ul trebuia să fie bun la diagnosticare, nu-i așa?

Unelte cu scop special

La începutul anului 2024. Google a publicat un studiu despre Articulate Medical Intelligence Explorer (AMIE), un model lingvistic mare, conceput special pentru a diagnostica bolile pe baza conversațiilor cu pacienții. AMIE a depășit medicii umani în diagnosticarea a 303 cazuri provenite din New England Journal of Medicine şi Conferințe clinicopatologice. Și AMIE nu este un outlier; În ultimul an, nu a fost aproape o săptămână fără cercetări publicate care să arate o IA care a avut rezultate uimitor de bine în diagnosticarea cancerului și diabetului și chiar să prezică infertilitatea masculină pe baza rezultatelor testelor de sânge.

Totuși, diferența dintre astfel de AI medicale specializate și ChatGPT constă în datele pe care au fost instruiți. „Este posibil ca astfel de IA să fi fost instruiți pe tone de literatură medicală și chiar să fi fost instruiți și pe cazuri complexe similare”, a explicat Kirpalani. „Acestea pot fi adaptate pentru a înțelege terminologia medicală, pentru a interpreta teste de diagnostic și pentru a recunoaște modele în datele medicale care sunt relevante pentru boli sau afecțiuni specifice. În schimb, LLM-urile cu scop general, cum ar fi ChatGPT, sunt instruite pe o gamă largă de subiecte și nu dispun de expertiza de domeniu profundă necesară pentru diagnosticarea medicală.”