Imaginează-ți că îi descrii medicului durerea pe care o simți, iar el își mută privirea de la tine la un ecran. Ecranul îi spune că ai un risc scăzut. Corpul tău îți spune altceva. Între cele două, cineva trebuie să fie crezut.

Spitalele din întreaga lume se întrec în a introduce algoritmi în activitatea clinică, de la aplicații de evaluare a simptomelor (symptom checkers) folosite la triaj, până la instrumente AI care sprijină diagnosticul. Argumentele din broșuri sunt eficiența, coordonarea și o precizie sporită.

Însă aceste sisteme fac un lucru pe care broșurile îl menționează rareori: ele decid în mod tăcut a cui cunoaștere este credibilă, care simptome contează și cum ar trebui interpretate cuvintele unui pacient.

Numesc această dinamică gaslighting algoritmic.

Gaslighting fără autor

Noțiunea de „gaslighting medical” îi descrie pe pacienții ale căror simptome sunt respinse sau reinterpretate de medici, adesea din considerente legate de gen, rasă sau boli cronice.

Criticii spun că termenul este folosit uneori greșit, deoarece gaslighting-ul implică o manipulare intenționată, iar majoritatea medicilor care resping simptomele nu fac acest lucru cu premeditare. Ei acționează din reflexe dictate de prejudecăți implicite, din rutină instituțională sau din ierarhii de expertiză adânc înrădăcinate.

Dar prejudiciul nu este definit de intenție, ci de ceea ce i se întâmplă pacientului: acesta ajunge să se îndoiască de propriile percepții și este privat de cuvintele de care are nevoie pentru a-și înțelege propria experiență.

Algoritmii fac imposibil de ignorat acest aspect. Un software nu are intenții; nu poate urzi planuri și nu poate înșela.

Cu toate acestea, el poate anula mărturia unui pacient invocând autoritatea unei aparente neutralități. Poate restrânge o poveste de viață la categorii rigide și îl poate face pe pacient să simtă că propria sa experiență este lipsită de credibilitate.

Acesta este gaslighting-ul fără autor.

Prima dimensiune este violența datelor. Seturile de date medicale sunt adesea înclinate disproporționat către populații albe, de sex masculin și cu un statut socio-economic avantajat. Pacienții care nu se încadrează în acest tipar devin invizibili din punct de vedere statistic.

De exemplu, durerea toracică se manifestă adesea diferit la femei față de bărbați, însă datele cardiovasculare conțin predominant profiluri masculine. Pulsoximetrele, calibrate în special pe pacienți cu pielea mai deschisă la culoare, pot supraestima nivelul de oxigen din sânge la pacienții de culoare, mascând valori periculos de scăzute. Dacă instrumentele de triaj consideră aceste măsurători drept valoare de referință absolută, eroarea se propagă pe tot parcursul actului medical.

A doua este opacitatea. Cu raționamentul unui medic poți argumenta. Însă nu poți combate un punctaj al cărui algoritm de calcul este inaccesibil atât ție, cât și medicului tău.

Un exemplu este Epic Sepsis Model, un sistem automat de alertă utilizat în sute de spitale din SUA. Un studiu independent a arătat că performanța acestuia a fost mult sub afirmațiile dezvoltatorului, identificând doar aproximativ o treime din cazurile de sepsis și generând frecvent alerte false. Nici medicii, nici pacienții nu puteau vedea logica din spatele vreunei alerte.

A treia este autoritatea automatizată. Când algoritmul „spune altceva”, pacienții se simt presați să se îndoiască de propriile simptome, iar medicii ezită să contrazică o recomandare presupus obiectivă.

Această autoritate poate depăși dovezile reale. Documente interne au arătat ulterior că sistemul IBM’s Watson for Oncology, promovat la nivel mondial drept un instrument de sprijin decizional extrem de precis, a generat recomandări de tratament greșite și riscante, fiind antrenat în mare parte pe cazuri ipotetice.

A patra este bucla de retroacțiune (feedback loop). Pacienții și medicii învață ce descrieri sunt percepute drept cazuri „valide” de către sistem și își adaptează modul de vorbire. Aceste descrieri ajustate devin apoi noi date de antrenare, consolidând tocmai categoriile care nu au reușit să surprindă realitatea pacientului de la bun început.

În timp, oamenii încetează să își mai descrie simptomele așa cum le simt și încep să le descrie așa cum le poate înțelege mașina.

De ce nu este o simplă eroare de sistem

Este tentant să privim toate acestea ca pe un simplu defect tehnic ce va fi remediat prin inginerie mai bună. Însă analiza arată altceva.

Algoritmii nu se selectează singuri. Spitalele și sistemele de sănătate aleg să îi adopte, preferând adesea informațiile standardizate în locul relatărilor umane complexe, din rațiuni de eficiență, răspundere juridică și scalabilitate.

Aceasta este o veche tendință administrativă: instituțiile au favorizat întotdeauna ceea ce pot citi, număra și audita. Ceea ce este ilizibil pentru sistem devine, într-un sens real, imposibil de gestionat de către acesta.

Prin urmare, intenția apare mai sus pe lanț. Nimeni nu trebuie să își dorească să nu creadă un anumit pacient; însă decizia de a înlocui mărturia pacientului cu date standardizate este un act deliberat de proiectare, iar cineva poartă răspunderea pentru el.

Deoarece rezultatele generate de algoritmi au un caracter structural, prejudiciul nu se limitează la o singură consultație reușită sau eșuată. El se repetă de la un caz la altul și se acumulează pentru pacienții aflați la intersectarea mai multor forme de marginalizare — cum ar fi o femeie de culoare cu dizabilități, ale cărei identitate și afecțiune sunt slab reprezentate în date.

Comunități întregi care sunt ignorate în mod repetat pot ajunge să își piardă încrederea în sistemul medical în ansamblu.

Există, de asemenea, o dimensiune globală. Într-un studiu calitativ realizat în Türkiye, diferite modele de limbaj au oferit îndrumări etice frapant de diferite pentru aceleași cazuri clinice, diferind prin sensibilitatea culturală și profunzimea interpretativă, chiar și atunci când invocau aceleași principii.

Reperele valorice încorporate în aceste sisteme nu sunt neutre, mai ales pentru pacienții din regiuni îndepărtate de locul în care sunt create aceste tehnologii.

Ce trebuie să se schimbe

Soluția nu este interzicerea inteligenței artificiale în medicină, ci renunțarea la tratarea pacienților ca simple surse de date și recunoașterea lor ca purtători de cunoaștere directă.

În primul rând, pacienților trebuie să li se garanteze dreptul de a contesta un rezultat algoritmic, nu doar posibilitatea de a cere o a doua opinie medicală. Ei ar trebui să poată pune la îndoială categoriile, indicatorii și evaluările din spatele algoritmului și să primească explicații ancorate în propria lor experiență, nu un raport tehnic despre ponderile variabilelor.

În al doilea rând, dreptatea epistemică trebuie integrată în proiectarea sistemelor. Aceasta presupune audituri independente ale datelor de antrenare și ale rezultatelor, la care să participe eticieni și reprezentanți ai pacienților. Presupune, de asemenea, implicarea persoanelor vulnerabile la erori încă din faza de concepție, precum și evaluarea, în momentul achiziției, dacă un instrument încurajează relatarea pacientului sau o reduce la simple bifări într-un formular.

Proiectarea participativă nu este un remediu universal. Companiile private se opun controlului exterior, sistemele privatizate nu au o sursă unică de finanțare, iar medicina de urgență lasă puțin timp pentru consultări. Totuși, acest model funcționează cel mai bine în îngrijirea bolilor cronice și acolo unde există deja organizații de pacienți. Acolo unde nu poate fi aplicat pe deplin, garanțiile parțiale sunt mai bune decât lipsa oricărei protecții.

În al treilea rând, responsabilitatea trebuie împărțită. Dezvoltatorii ar trebui să documenteze limitele tehnologiei și să o conceapă astfel încât să poată fi contestată. Medicii ar trebui să pună în balanță rezultatul algoritmului și mărturia directă a pacientului. Instituțiile ar trebui să creeze organisme care să monitorizeze utilizarea tehnologiei și să medieze disputele. Autoritățile de reglementare ar trebui să includă echitatea de cunoaștere în standardele de îngrijire medicală.

Este necesară o precizare: acest argument este de natură conceptuală și etică. El nu își propune să măsoare frecvența acestor prejudicii, iar cercetările empirice vor fi esențiale. Însă o problemă pe care nu o poți numi este o problemă pe care nu o poți studia.

Întrebarea nu mai este dacă medicina va fi mediată digital. Cu siguranță va fi.

Întrebarea este dacă această mediere va lărgi sau va îngusta spațiul în care vocea pacienților este cu adevărat ascultată.

Un sistem de sănătate care nu își poate crede pacientul din față încetează să mai fie un sistem de sănătate. Medicina se bazează pe încredere, iar niciun model de inteligență artificială, oricât de precis, nu poate înlocui vocea omului.