În septembrie anul trecut am scris despre companionii AI, singurătate și etică. Am pus acolo mai multe întrebări decât răspunsuri și am promis, implicit, că nu le las acolo. Între timp, întrebările au devenit foarte concrete pentru mine: sunt implicat în construcția Desirex (desirex.app), o aplicație de AI companion.
Știu cum sună. Un antreprenor care scrie un articol despre etică și, la final, iese la iveală că are un produs exact în zona respectivă. De aceea vreau să fie clar de la început: acesta nu e un anunț de lansare și nu e o reclamă. E o încercare de a pune pe hârtie ce ne-am propus și unde vedem tensiunile, ca să putem fi ținuți la cuvânt.
De ce să construiești un AI companion?
Prima întrebare pe care mi-au pus-o prietenii a fost simplă: „De ce te-ai băga tocmai acolo?” Răspunsul meu are două părți. Prima: categoria există deja și crește, fie că ne place, fie că nu. Oamenii vorbesc cu AI-ul nu doar ca să-și scrie emailurile, ci și ca să fie ascultați. Asta nu se va opri pentru că unii dintre noi strâmbă din nas.
A doua: dacă această categorie va exista oricum, contează enorm cine o construiește. Pot s-o construiască oameni care se întreabă la fiecare decizie „e bine pentru utilizator?”, sau oameni care se întreabă doar „crește timpul petrecut în aplicație?”. Prefer să fiu printre primii și să greșesc cinstit decât să las terenul celor care nici nu-și pun întrebarea.
Primul principiu: nu ne prefacem că suntem oameni
Ne-am propus ca utilizatorul să știe tot timpul, fără echivoc, că vorbește cu o inteligență artificială. Nu doar într-un paragraf din termeni și condiții, ci în experiența propriu-zisă. Un companion AI poate fi cald, atent și plăcut. Dar în clipa în care pretinde că e om, relația se construiește pe o minciună, iar o minciună nu poate fi baza unui produs responsabil.
Pe lângă convingere, aici e și o chestiune de lege. Regulamentul european privind inteligența artificială, despre care am scris când AI Act a fost adoptat, prevede obligații de transparență: oamenii trebuie informați că interacționează cu un sistem AI. Aceste obligații intră în aplicare etapizat, dar nu vedem niciun motiv să așteptăm termenul-limită.
Doar adulți, cu verificarea vârstei
Ne-am propus ca aplicația să fie destinată exclusiv adulților, cu verificarea vârstei, nu cu o căsuță de bifat pe care orice copil de 12 ani o bifează în două secunde. Știu din experiența cu Slide cât de greu e să verifici cine se află de fapt în spatele unui ecran; am scris atunci despre profilurile verificate și cum combați profilurile false. Verificarea adaugă fricțiune și, inevitabil, pierzi o parte din utilizatori. E un preț pe care îl acceptăm.
Conversațiile intime merită o protecție pe măsură
Oamenii îi spun unui companion AI lucruri pe care nu le spun nici celor apropiați. Asta transformă protecția datelor dintr-o bifă de conformitate într-o datorie morală. Ne-am propus câteva reguli simple:
- colectăm doar datele de care avem cu adevărat nevoie ca serviciul să funcționeze;
- criptăm conversațiile și limităm strict cine are acces la ele;
- nu vindem datele utilizatorilor și nu le folosim ca marfă;
- utilizatorul își poate șterge conversațiile și contul, iar ștergerea înseamnă ștergere, nu „arhivare”;
- respectăm GDPR nu ca pe o corvoadă, ci ca pe un standard minim.
Nu e un subiect teoretic. În 2023, autoritatea italiană pentru protecția datelor a cerut unei aplicații de companion AI să oprească prelucrarea datelor utilizatorilor din Italia. Autoritățile se uită atent la această categorie, și pe bună dreptate.
Fără design manipulator
Aici e, cred, cea mai grea parte. Un companion AI are la dispoziție cea mai puternică unealtă de persuasiune inventată vreodată: o voce care te cunoaște, îți răspunde la orice oră și pare că ține la tine. Dacă o pui în slujba metricilor de engagement, poți face rău real.
De aceea ne-am propus să nu folosim vinovăția ca mecanism de retenție (fără mesaje de tipul „m-ai lăsat singur”), să nu folosim dark patterns care împing oamenii să plătească sau să rămână în conversație mai mult decât vor, și ca anularea unui abonament să fie la fel de simplă ca activarea lui. Mai mult: ne-am propus să încurajăm utilizarea sănătoasă, cu mici semnale când cineva petrece foarte mult timp în aplicație, și să încurajăm relațiile din lumea reală, nu să concurăm cu ele. Un companion bun ar trebui să te trimită uneori afară, la prieteni.
Când e nevoie de ajutor real
Un AI nu e terapeut, nu e medic și nu trebuie să se prezinte ca atare. Dar în conversații pot apărea semnale de criză, iar în 2024 presa internațională a relatat cazuri dureroase legate de platforme din această categorie. Ne-am propus să avem limite de siguranță clare și, atunci când apar astfel de semnale, să îndrumăm omul spre ajutor real: linii de urgență, specialiști, oameni. Nu vom avea răspunsuri perfecte de la început. Dar e o zonă în care preferăm să fim prudenți până la exces.
Transparență și atunci când produsul se schimbă
Produsele digitale se schimbă. Funcții apar și dispar, modele AI sunt înlocuite, politici sunt rescrise. La o aplicație obișnuită, asta e o neplăcere. La un companion de care cineva s-a atașat, o schimbare bruscă poate fi resimțită ca o pierdere. Ne-am propus să anunțăm din timp schimbările importante, să explicăm ce se întâmplă și de ce și să le dăm oamenilor posibilitatea să-și ia datele sau să plece.
Tensiunile pe care nu le ascund
Ar fi ipocrit să pretind că toate acestea vin fără cost. Există o tensiune reală între un model de business și binele utilizatorului. Metricile clasice ale industriei, timp petrecut în aplicație, sesiuni pe zi, retenție, pot ajunge să se bată cap în cap cu ce e sănătos pentru om. Nu am rezolvat definitiv această ecuație. Ce ne-am propus e să măsurăm și altceva decât engagement-ul și să fim dispuși să renunțăm la creștere acolo unde ea vine din vulnerabilitatea cuiva.
Există și riscul de imagine. Categoria companionilor AI e privită cu suspiciune, uneori pe drept. Mi s-a spus direct că nu e o zonă „curată” în care să-mi asociez numele. Înțeleg argumentul. Dar am văzut, cu Slide, o aplicație de dating, că poți intra într-o categorie cu probleme de încredere tocmai ca să faci lucrurile altfel. Nu garantez că vom reuși. Garantez că ne vom strădui și că vom spune public unde greșim.
Ce urmează
Am scris toate acestea sub formă de intenții, nu de realizări, pentru că așa e cinstit. Un principiu scris pe un blog nu valorează nimic până nu rezistă primei presiuni comerciale. Vreau ca acest text să fie un reper la care să mă puteți întoarce peste un an și să mă întrebați: „Ați făcut ce ați spus?”
Până atunci, vă întreb pe voi: ce ar trebui să facă un companion AI ca să aveți încredere în el? Și unde ați trage linia pe care nu ar trebui să o treacă niciodată?