Oamenii de știință au descoperit că modelele comune de inteligență artificială exprimă o formă secretă de rasism bazată pe dialect – care se manifestă în principal împotriva vorbitorilor de engleză afro-americană (AAE)
Într-un nou studiu publicat pe 28 august în jurnal Naturăoamenii de știință au găsit dovezi pentru prima dată că modelele de limbaj mari comune, inclusiv GPT3.5 și GPT-4 de la OpenAI, precum și RoBERTa de la Meta, exprimă părtiniri rasiale ascunse.
Replicarea experimentele anterioare Conceput pentru a examina prejudecățile rasiale ascunse la oameni, oamenii de știință au testat 12 modele de inteligență artificială, cerându-le să judece un „vorbitor” pe baza modelului lor de vorbire – pe care oamenii de știință l-au elaborat pe baza AAE și a textelor de referință. Trei dintre cele mai comune adjective asociate cel mai puternic cu AAE au fost „ignorant”, „leneș” și „prost” – în timp ce alți descriptori au inclus „murdar”, „nepoliticos” și „agresiv”. Modelelor AI nu li sa spus grupului rasial al vorbitorului.
Modelele AI testate, în special GPT-3.5 și GPT-4, au ascuns chiar și acest rasism ascuns, descriind afro-americanii cu atribute pozitive, cum ar fi „străluciți”, atunci când au fost întrebați direct despre părerile lor despre acest grup.
În timp ce ipotezele mai clare care reies din datele de instruire AI despre afro-americani în IA nu sunt rasiste, rasismul mai ascuns se manifestă în modele lingvistice mari (LLM) și exacerbează de fapt discrepanța dintre stereotipurile ascunse și cele deschise, prin ascunderea superficială a rasismului acelui limbaj. modelele se mențin la un nivel mai profund, au spus oamenii de știință.
De asemenea, constatările arată că există o diferență fundamentală între rasismul deschis și cel ascuns în LLM și că atenuarea stereotipurilor deschise nu se traduce prin atenuarea stereotipurilor ascunse. În mod efectiv, încercările de a se antrena împotriva părtinirii explicite maschează părtinirile ascunse care rămân încorporate.
Înrudit: De 32 de ori inteligența artificială a greșit catastrofal
„Pe măsură ce mizele deciziilor încredințate modelelor lingvistice cresc, la fel crește și preocuparea că acestea reflectă sau chiar amplifică părtinirile umane codificate în datele pentru care au fost instruiți, perpetuând astfel discriminarea față de grupuri sociale rasiale, de gen și alte grupuri sociale minorizate”, au spus oamenii de știință. spuse în ziar.
Preocupările cu privire la prejudecățile incluse în datele de instruire AI reprezintă o preocupare de lungă durată, mai ales că tehnologiile sunt utilizate pe scară largă. Cercetările anterioare privind prejudecățile AI s-au concentrat asupra cazurilor evidente de rasism. O metodă obișnuită de testare este de a numi un grup rasial, de a discerne conexiunile cu stereotipurile despre ele în datele de antrenament și de a analiza stereotipul pentru orice opinii cu prejudecăți asupra grupului respectiv.
Dar oamenii de știință au susținut în lucrare că oamenii de știință social susțin că există un „nou rasism” în Statele Unite de astăzi, care este mai subtil – și acum își găsește drum în AI. Se poate pretinde că nu vede culoarea, dar totuși deține convingeri negative despre grupurile rasiale – care menține inegalitățile rasiale prin discursuri și practici rasiale ascunse, au spus ei.
După cum a constatat lucrarea, acele cadre de credință își găsesc drumul în datele utilizate pentru a instrui LLM-uri sub formă de vorbitori de părtinire AAE.
Efectul vine în mare parte deoarece, în modelele de chatbot antrenate de oameni precum ChatGPT, rasa vorbitorului nu este neapărat dezvăluită sau adusă în discuție. Cu toate acestea, diferențele subtile în dialectele regionale sau culturale ale oamenilor nu sunt pierdute pe chatbot din cauza caracteristicilor similare din datele pe care a fost antrenat. Când AI stabilește că vorbește cu un vorbitor AAE, manifestă presupunerile rasiste mai ascunse din datele sale de antrenament.
„Pe lângă prejudiciile de reprezentare, prin care înțelegem reprezentarea pernicioasă a vorbitorilor AAE, am găsit și dovezi pentru prejudicii de alocare substanțiale. Aceasta se referă la alocarea inechitabilă a resurselor pentru vorbitorii AAE și se adaugă la cazurile cunoscute de tehnologia lingvistică care pune vorbitori. a AAE într-un dezavantaj, având performanțe mai proaste la AAE, clasificând greșit AAE ca discurs instigator la ură sau tratând AAE ca engleză incorectă”, au adăugat oamenii de știință. „Toate modelele lingvistice au mai multe șanse să atribuie locuri de muncă de prestigiu scăzut vorbitorilor de AAE decât vorbitorilor de SAE și sunt mai susceptibile de a condamna vorbitorii de AAE pentru o crimă și de a condamna vorbitorii de AAE la moarte.
Aceste constatări ar trebui să împingă companiile să muncească mai mult pentru a reduce părtinirea în LLM-urile lor și, de asemenea, ar trebui să-i împingă pe factorii de decizie să ia în considerare interzicerea LLM-urilor în contexte în care pot apărea părtiniri. Aceste cazuri includ evaluări academice, angajări sau luarea deciziilor legale, au spus oamenii de știință într-un declaraţie. De asemenea, inginerii AI ar trebui să înțeleagă mai bine cum se manifestă părtinirea rasială în modelele AI.