Cine răspunde când greșește algoritmul? Societatea corectă în era AI

Cine răspunde când greșește algoritmul? Societatea corectă în era AI

Folosesc AI în fiecare zi și, ca advisor sau fondator, am fost aproape de produse care se sprijină pe algoritmi: de la o rețea de afiliere optimizată cu AI, la verificarea profilurilor într-o aplicație de dating. Din 2024 organizez și AI Expo Europe, unde aud săptămânal promisiuni mari despre ce pot face mașinile. Cred în tehnologia asta. Tocmai de aceea mă enervează o propoziție care apare tot mai des: „a decis algoritmul”.

Nu, n-a decis algoritmul. A decis cineva să folosească un algoritm, să-l antreneze pe anumite date, să-l pună într-un anumit loc și să nu se mai uite la el. Când sistemul greșește, responsabilitatea nu se evaporă în cloud. Rămâne la oamenii și la firmele care au ales să-l folosească. Despre asta e articolul de azi.

De ce contează acum, nu peste zece ani

Sistemele automate nu mai recomandă doar filme sau produse. Ajută la decizii despre credite, angajări, ajutoare sociale, asigurări, conturi blocate pentru fraudă sau conținut șters de pe o platformă. Pentru omul de la celălalt capăt, diferența dintre „recomandare” și „decizie” e adesea pur teoretică: dacă dosarul tău a fost marcat ca riscant, cineva grăbit va semna exact ce i-a spus ecranul.

Acum câțiva ani scriam despre algoritmii care decid ce vedem online. Atunci miza era fluxul de știri. Azi miza e un împrumut, un loc de muncă sau o indemnizație pentru copii.

Ce ne-au arătat deja scandalurile

Nu trebuie să ne imaginăm scenarii de film. Avem cazuri reale, documentate:

  • În Olanda, în scandalul alocațiilor pentru îngrijirea copiilor (cunoscut ca „toeslagenaffaire”), un sistem de profilare a riscului și felul în care autoritățile l-au folosit au etichetat pe nedrept mii de familii drept fraudatoare. Consecințele au fost atât de grave încât guvernul olandez a demisionat în ianuarie 2021.
  • În Marea Britanie, un software de contabilitate defect, Horizon, folosit de Post Office, a dus la urmărirea penală pe nedrept a sute de administratori de oficii poștale. Cazul a explodat în atenția publicului după un serial TV difuzat în ianuarie 2024, iar în același an s-a adoptat o lege pentru anularea condamnărilor.
  • În Canada, în februarie 2024, un tribunal a decis că Air Canada răspunde pentru informațiile greșite date unui client de chatbotul de pe site-ul ei. Compania a încercat să susțină, practic, că chatbotul e responsabil pentru propriile afirmații. Argumentul n-a ținut.
  • Amazon ar fi renunțat, potrivit unei anchete Reuters din 2018, la un instrument experimental de recrutare bazat pe AI, pentru că dezavantaja candidatele femei. Sistemul învățase din istoricul angajărilor, cu tot cu prejudecățile lui.

Observați un lucru comun: în niciunul dintre cazuri problema n-a fost doar tehnică. A fost încrederea oarbă în sistem, lipsa unui om care să poată spune „stai, ceva nu e în regulă” și, mai ales, refuzul instituțiilor de a-și asuma greșeala la timp.

Principiile pe care le-aș vrea scrise pe peretele oricărei firme

Nu sunt jurist și nu propun un cod. Sunt antreprenor și îmi pun întrebarea simplă: ce aș vrea să mi se întâmple mie, dacă un sistem automat ar decide ceva important despre mine? Răspunsul meu arată cam așa:

  • Un om care poate fi găsit și poate schimba decizia. Nu un formular fără răspuns și nici un alt chatbot. Un om, cu autoritatea reală de a anula verdictul mașinii.
  • Dreptul la o explicație pe limba ta. Nu „scor de risc 0,73”, ci „cererea a fost respinsă pentru că venitul declarat nu acoperă rata, iată ce poți face”.
  • Testarea pentru discriminare înainte și după lansare. Datele vechi poartă prejudecăți vechi. Un sistem care a trecut testele la lansare poate devia după șase luni.
  • Jurnale și audituri. Dacă nu poți reconstitui de ce s-a luat o decizie, nu ai dreptul s-o iei automat.
  • Proporționalitate. Cu cât miza e mai mare pentru om, cu atât controalele trebuie să fie mai stricte. Recomandarea unei perechi de pantofi nu cere același regim ca refuzul unui ajutor social.
  • Răspundere clară în contracte. Între furnizorul de AI și firma care îl folosește trebuie scris negru pe alb cine răspunde, pentru ce și cum se repară o greșeală.
  • Grijă specială pentru oamenii vulnerabili. Cei care au cele mai puține resurse să conteste o decizie sunt, de obicei, și cei mai expuși la ea.

Ce spune legea și unde rămân goluri

Europa nu pornește de la zero. GDPR, prin articolul 22, le dă oamenilor drepturi în fața deciziilor bazate exclusiv pe prelucrare automată care au efecte semnificative asupra lor. Iar AI Act, despre care am scris când a fost adoptat oficial, a început să se aplice în etape: de la 2 februarie 2025 sunt interzise practicile considerate cu risc inacceptabil, iar obligațiile pentru sistemele cu risc ridicat vin mai târziu.

Pe de altă parte, în februarie 2025 Comisia Europeană a anunțat, în programul ei de lucru pe 2025, că intenționează să retragă propunerea de directivă privind răspunderea pentru AI. Nu discut aici dacă e o decizie bună sau rea; e o discuție lungă și legitimă. Dar înseamnă că, pentru o vreme, întrebarea „cine plătește când greșește algoritmul?” va fi lăsată mai mult pe seama regulilor generale și a contractelor. Când scriam despre ce pregătește Europa în reglementarea AI, spuneam că legea vine mereu după tehnologie. Golul acesta trebuie umplut, între timp, de bun-simț și de etică de business.

Ce ar trebui să facă un antreprenor de mâine

Dacă ai o firmă mică și folosești AI pentru scoring de clienți, filtrare de CV-uri, detecția fraudei sau moderarea comentariilor, nu aștepta un control ca să-ți pui ordine în casă. Concret:

  • Fă o listă cu toate locurile în care un sistem automat influențează o decizie despre un om. Mulți antreprenori nici nu știu câte sunt.
  • Pentru fiecare, numește un responsabil: o persoană, nu un departament.
  • Scrie ce poate face un client sau un candidat dacă nu e de acord și testează tu traseul ăsta, ca un client obișnuit.
  • Citește contractul cu furnizorul de AI. Dacă nu scrie nimic despre erori, discriminare și răspundere, negociază.
  • Verifică periodic rezultatele pe grupuri diferite de oameni. Dacă un grup e respins sistematic mai des, află de ce înainte să afle presa.
  • Nu pune un chatbot să promită lucruri pe care firma nu le respectă. Cazul Air Canada e o lecție ieftină, dacă o înveți din ziar.

Societatea corectă nu se automatizează singură

Am scris cândva despre ce înseamnă o societate corectă pentru un antreprenor: reguli clare, aplicate la fel pentru toți, și instituții care își asumă greșelile. AI nu schimbă nimic din asta. Doar face totul mai rapid și la scară mai mare, inclusiv nedreptățile. O greșeală umană afectează un dosar. O greșeală de sistem poate afecta mii de dosare până o observă cineva.

De aceea nu cred că soluția e să ne fie frică de AI. Soluția e să-l tratăm ca pe orice unealtă puternică: o folosești, dar răspunzi pentru ea. Un șofer nu poate spune polițistului că mașina a decis să treacă pe roșu. O firmă nu ar trebui să poată spune unui om că algoritmul a decis să-l refuze.

Poziția mea

Ca antreprenor care folosește și construiește produse cu AI, îmi asum un lucru simplu: dacă ceva ce am pus în piață greșește față de un om, vina e a mea, nu a codului. Prefer să lansez mai încet, cu un om care poate fi găsit la capătul firului, decât să explic mai târziu de ce n-a răspuns nimeni. Am încercat să pun principiile astea în practică și când am scris despre cum construim un companion AI responsabil.

Voi ce credeți: ați avut vreodată de-a face cu o decizie automată pe care n-ați putut s-o contestați? Și cine credeți că ar fi trebuit să răspundă?