Interfețele creier-calculator sunt o tehnologie revoluționară care poate ajuta persoanele paralizate să-și recapete funcțiile pe care le-au pierdut, cum ar fi mișcarea unei mâini. Aceste dispozitive înregistrează semnale de la creier și să descifreze acțiunea intenționată a utilizatorului, ocolind nervii deteriorați sau degradați care ar transmite în mod normal acele semnale ale creierului pentru a controla mușchii.
Din 2006demonstrațiile de interfețe creier-calculator la oameni s-au concentrat în primul rând pe restabilirea mișcărilor brațelor și mâinilor, permițând oamenilor să controlează cursoarele computerului sau brațe robotizate. Recent, cercetătorii au început să se dezvolte interfețe vorbire creier-calculator pentru a restabili comunicarea pentru persoanele care nu pot vorbi.
Pe măsură ce utilizatorul încearcă să vorbească, aceste interfețe creier-calculator înregistrează semnalele unice ale creierului persoanei asociate cu încercările de mișcări ale mușchilor pentru a vorbi și apoi le traduc în cuvinte. Aceste cuvinte pot fi apoi afișate ca text pe un ecran sau rostite cu voce tare utilizând un software de transformare a textului în vorbire.
eu sunt un cercetător în Laborator de neuroprotezie la Universitatea din California, Davis, care face parte din BrainGate2 studiu clinic. Eu și colegii mei am demonstrat recent o interfață vorbire creier-calculator care descifrează încercarea de vorbire a unui bărbat cu SLA, sau scleroza laterală amiotrofică, cunoscută și sub numele de boala Lou Gehrig. Interfața convertește semnalele neuronale în text cu o precizie de peste 97%. Cheia sistemului nostru este un set de modele de limbaj de inteligență artificială – rețele neuronale artificiale care ajută la interpretarea celor naturale.
Înrudit: Noul dispozitiv „controlat de gândire” citește activitatea creierului prin jugulară
Înregistrarea semnalelor creierului
Primul pas în interfața noastră vorbire creier-calculator este înregistrarea semnalelor creierului. Există mai multe surse de semnale ale creierului, dintre care unele necesită o intervenție chirurgicală pentru înregistrare. Dispozitivele de înregistrare implantate chirurgical pot capta semnale cerebrale de înaltă calitate, deoarece sunt plasate mai aproape de neuroni, rezultând semnale mai puternice cu interferențe mai puține. Aceste dispozitive de înregistrare neuronală includ grile de electrozi plasați pe suprafața creierului sau electrozi implantați direct în țesutul cerebral.
În studiul nostru, am folosit matrice de electrozi plasate chirurgical în cortexul motor al vorbirii, partea a creierului care controlează mușchii legați de vorbire, a participantului, Casey Harrell. Am înregistrat activitatea neuronală de la 256 de electrozi în timp ce Harrell a încercat să vorbească.
Decodificarea semnalelor creierului
Următoarea provocare este legarea semnalelor complexe ale creierului cu cuvintele pe care utilizatorul încearcă să le spună.
O abordare este de a mapa modelele de activitate neuronală direct la cuvintele rostite. Această metodă necesită înregistrarea semnalelor creierului corespunzătoare fiecărui cuvânt de mai multe ori pentru a identifica relația medie dintre activitatea neuronală și anumite cuvinte. Deși această strategie funcționează bine pentru vocabulare mici, așa cum este demonstrat în a Studiu 2021 cu un vocabular de 50 de cuvintedevine nepractic pentru cele mai mari. Imaginați-vă să cereți utilizatorului interfeței creier-computer să încerce să rostească fiecare cuvânt din dicționar de mai multe ori – ar putea dura luni de zile și tot nu ar funcționa pentru cuvinte noi.
În schimb, folosim o strategie alternativă: maparea semnalelor creierului la foneme, unitățile de bază ale sunetului care alcătuiesc cuvintele. În engleză, există 39 de foneme, inclusiv ch, er, oo, pl și sh, care pot fi combinate pentru a forma orice cuvânt. Putem măsura activitatea neuronală asociată fiecărui fonem de mai multe ori, doar cerând participantului să citească câteva propoziții cu voce tare. Prin maparea precisă a activității neuronale la foneme, le putem asambla în orice cuvânt englezesc, chiar și cu cei cu care sistemul nu a fost instruit în mod explicit.
Pentru a mapa semnalele creierului la foneme, folosim modele avansate de învățare automată. Aceste modele sunt deosebit de potrivite pentru această sarcină datorită capacității lor de a găsi modele în cantități mari de date complexe pe care oamenii ar fi imposibil să le discerne. Gândiți-vă la aceste modele ca ascultători super inteligenți care pot alege informații importante din semnalele zgomotoase ale creierului, așa cum v-ați putea concentra pe o conversație într-o cameră aglomerată. Folosind aceste modele, am putut descifra secvențele de foneme în timpul încercării de vorbire cu o precizie de peste 90%.
De la foneme la cuvinte
Odată ce avem secvențele de foneme descifrate, trebuie să le convertim în cuvinte și propoziții. Acest lucru este o provocare, mai ales dacă secvența fonemică descifrată nu este perfect exactă. Pentru a rezolva acest puzzle, folosim două tipuri complementare de modele de limbaj de învățare automată.
Primul este modelele de limbaj n-gram, care prezic care cuvânt este cel mai probabil să urmeze un set de n cuvinte. Am antrenat un model de limbaj de 5 grame sau cinci cuvinte milioane de sentințe pentru a prezice probabilitatea unui cuvânt pe baza celor patru cuvinte anterioare, captând contextul local și frazele comune. De exemplu, după „Sunt foarte bun”, ar putea sugera „azi” ca fiind mai probabil decât „cartof”. Folosind acest model, convertim secvențele noastre de foneme în cele mai probabile 100 de secvențe de cuvinte, fiecare cu o probabilitate asociată.
Al doilea este modelele de limbaj mari, care alimentează chatbot-urile AI și, de asemenea, prezic ce cuvinte urmează cel mai probabil pe altele. Folosim modele lingvistice mari pentru a ne rafina alegerile. Aceste modele, instruite pe cantități mari de text divers, au o înțelegere mai largă a structurii și semnificației limbajului. Ele ne ajută să stabilim care dintre cele 100 de propoziții candidate are cel mai mult sens într-un context mai larg.
Echilibrând cu atenție probabilitățile din modelul n-gramă, modelul de limbaj mare și predicțiile noastre inițiale ale fonemelor, putem face o presupunere foarte educată despre ceea ce încearcă să spună utilizatorul interfeței creier-calculator. Acest proces în mai multe etape ne permite să gestionăm incertitudinile în decodificarea fonemelor și să producem propoziții coerente, adecvate contextual.
Beneficii din lumea reală
În practică, această strategie de decodare a vorbirii a avut un succes remarcabil. I-am permis lui Casey Harrell, un bărbat cu SLA, să „vorbească” cu o acuratețe de peste 97% folosind doar gândurile sale. Această descoperire îi permite să converseze cu ușurință cu familia și prietenii pentru prima dată în ultimii ani, totul în confortul propriei case.
Interfețele vorbire creier-calculator reprezintă un pas semnificativ înainte în restabilirea comunicării. Pe măsură ce continuăm să perfecționăm aceste dispozitive, ele țin promisiunea de a oferi voce celor care și-au pierdut capacitatea de a vorbi, reconectandu-i cu cei dragi și cu lumea din jurul lor.
Cu toate acestea, rămân provocări, cum ar fi ca tehnologia să fie mai accesibilă, portabilă și durabilă de-a lungul anilor de utilizare. În ciuda acestor obstacole, interfețele vorbire creier-calculator sunt un exemplu puternic al modului în care știința și tehnologia se pot reuni pentru a rezolva probleme complexe și a îmbunătăți dramatic viața oamenilor.
Acest articol editat este republicat din Conversația sub o licență Creative Commons. Citiți articol original.