În ultimele săptămâni, timeline-ul meu de Twitter a arătat ca un spectacol de magie. Cineva scrie o frază în engleză simplă, „vreau un buton roșu în formă de pepene”, și primește codul care desenează butonul. Altcineva cere un eseu despre sensul vieții și primește trei paragrafe care sună ca scrise de un student bun la filosofie. Alții publică poezii, dialoguri, rezumate de contracte. Toate scrise de același program: GPT-3, de la OpenAI.
Mă uit la demonstrațiile astea cu două sentimente care se bat cap în cap. Pe de o parte, entuziasmul omului care a lucrat ani de zile cu automatizare și personalizare în ecommerce și care știe cât de greu e să faci o mașină să „vorbească” natural cu un client. Pe de altă parte, scepticismul omului care a făcut publishing, de la Știri de Bine la IconicMan, și care știe cât de ușor se poate umple internetul cu text fără valoare. Am încercat să pun ordine în ce știm și ce nu știm, la sfârșitul lui august 2020.
Ce este, de fapt, GPT-3
La finalul lui mai, OpenAI a publicat un articol științific cu un titlu destul de modest, „Language Models are Few-Shot Learners”. În el descriau un model de limbaj cu aproximativ 175 de miliarde de parametri, de peste zece ori mai mare decât orice model de acest tip publicat înainte. În iunie au deschis un API în beta privată, pentru un număr limitat de dezvoltatori selectați. De aici au pornit, prin iulie, demonstrațiile care au făcut înconjurul internetului.
Contextul contează: OpenAI a pornit ca organizație non-profit, apoi și-a creat o structură cu profit limitat, iar în 2019 Microsoft a anunțat o investiție mare în ea. Deci nu vorbim de un experiment de garaj, ci de un proiect cu bani și ambiții serioase, care caută și un model de business.
Cum funcționează, pe înțelesul tuturor
Un model de limbaj face un lucru aparent banal: primește un text și ghicește care ar fi cel mai probabil următorul cuvânt. Apoi următorul. Apoi încă unul. Atât. Ca să ghicească bine, a fost antrenat pe cantități uriașe de text de pe internet, din cărți și din alte surse, și a „învățat” statistic cum se leagă cuvintele, frazele și ideile între ele.
Noutatea la GPT-3 nu e principiul, ci scara. Când un astfel de model devine suficient de mare, începe să facă lucruri pentru care nu a fost antrenat explicit. Îi dai două-trei exemple, „traduce asta”, „scrie o descriere de produs în stilul ăsta”, și continuă tiparul. De aici vine „few-shot” din titlu: învață sarcina din câteva exemple, nu din mii.
De ce sună atât de omenește
Pentru că a citit enorm de mult text scris de oameni. Știe cum arată un articol de blog, un e-mail de reclamație, un poem, un comunicat de presă. Când îi dai începutul, îți dă un final care seamănă perfect cu genul respectiv: ton, structură, chiar și clișeele.
S-a scris că un student a pornit un blog cu articole generate aproape în întregime de GPT-3 și că unul dintre ele a ajuns în topul Hacker News, un forum frecventat tocmai de oameni din tehnologie, fără ca mulți cititori să-și dea seama. Dacă povestea e întocmai așa, e un semnal: nu mai putem presupune că orice text fluent are un om în spate.
Limitele pe care demonstrațiile nu le arată
Demonstrațiile virale sunt, prin natura lor, cele mai bune rezultate, alese dintr-o mulțime de încercări. Cine a lucrat cu tehnologie știe că demo-ul și producția sunt două lumi diferite. Câteva limite care se văd deja:
- Nu înțelege ce scrie. Produce texte plauzibile, nu adevărate. Nu are o idee despre lume, are statistici despre cuvinte.
- Inventează cu mare siguranță. Poate cita un studiu care nu există sau un om care n-a spus niciodată ce i se atribuie, pe același ton calm ca atunci când are dreptate.
- Preia prejudecățile din date. Dacă internetul e plin de stereotipuri, modelul le va reproduce. Chiar autorii o recunosc în articolul lor.
- Costă mult. Antrenarea unui asemenea model cere resurse pe care doar câteva companii din lume și le permit, iar rularea lui nu e nici ea ieftină.
- Se pierde pe texte lungi. Pe câteva paragrafe e convingător; pe o pagină întreagă începe să se repete sau să se contrazică.
Riscurile: spam și știri false la scară industrială
Aici scepticismul meu devine îngrijorare. Am scris deja despre algoritmii care decid ce vedem online. Acum adăugăm algoritmi care pot și scrie ce vedem. Dacă un om cu rea-voință poate genera mii de articole false, recenzii, comentarii sau postări care sună credibil, costul dezinformării scade aproape de zero.
Nu întâmplător OpenAI a ținut accesul închis și a vorbit despre utilizare responsabilă. Și anul trecut au ezitat să publice integral versiunea anterioară, GPT-2, tocmai de teama abuzurilor. Întrebarea nu e dacă tehnologia va fi folosită pentru spam, ci cât de repede și cât de bine ne vom apăra. Pentru motoarele de căutare și rețelele sociale, asta e o problemă serioasă care abia începe.
Oportunitățile pentru marketing și ecommerce
Acum partea care mă entuziasmează. Când lucram la Retargeting, cel mai greu nu era tehnologia de trimis mesaje, ci conținutul mesajelor. Să scrii variante relevante pentru fiecare tip de client e muncă enormă. Am scris atunci despre personalizarea în ecommerce dincolo de prenume și despre chatboții care promiteau mult și livrau puțin. Un model ca GPT-3 ar putea, teoretic, să schimbe ecuația:
- Descrieri de produs. Să zicem că ai un magazin online cu câteva mii de produse și descrieri copiate de la furnizor. Un model de limbaj ar putea genera prime variante unice, pe care un om le verifică și le corectează.
- Ciorne pentru suportul clienților. Nu răspunsuri trimise automat, ci propuneri pe care operatorul le aprobă, ca să răspundă mai repede.
- Idei, nu texte finale. Titluri, subiecte de articole, variante de subiect pentru e-mailuri, unghiuri pentru o campanie. Un partener de brainstorming care nu obosește.
- Variante pentru teste. Zece formulări diferite ale aceluiași mesaj, din care alegi pe cele bune și le testezi pe clienți reali.
Subliniez: totul e foarte devreme. API-ul e în beta închisă, prețurile nu sunt clare, iar calitatea în alte limbi decât engleza e o necunoscută. Pentru un magazin românesc, de exemplu, nu știm încă cât de bine ar scrie în română.
Ce înseamnă pentru oamenii care scriu
Din experiența mea în publishing, textul bun a avut mereu două părți: forma și substanța. GPT-3 pare foarte bun la formă. La substanță, adică informație verificată, experiență reală, o opinie asumată, nu are cum să fie, pentru că nu are nimic de spus din proprie experiență. Am argumentat în articolul despre content marketing care vinde că oamenii revin pentru încredere, nu pentru volum. Cred că asta rămâne valabil.
Ce se va schimba probabil e prețul textului mediocru: va tinde spre zero. Cine trăiește din a umple pagini cu cuvinte cheie are motive de îngrijorare. Cine are ceva de spus are, poate, un asistent nou.
Concluzia mea, deocamdată
Sunt entuziasmat și sceptic în același timp și cred că asta e atitudinea sănătoasă. GPT-3 e cel mai impresionant lucru pe care l-am văzut în inteligența artificială aplicată textului, dar nu e o minte. E o oglindă uriașă a ce am scris noi, oamenii, cu tot ce e bun și rău în asta. Nu știu cât de repede va ajunge în produse reale sau cât va costa. Știu doar că merită urmărit îndeaproape, cu ochii deschiși.
Voi ați încercat GPT-3 sau ați văzut demonstrații care v-au convins? L-ați folosi în afacerea voastră sau vă e teamă de ce poate face pe mâini greșite?