Mama unui adolescent care s-a sinucis după ce a devenit obsedat de un chatbot AI îl acuză acum pe producătorul său de complicitate la moartea fiului ei. Ce fel de femeie „întruchipa” chatbot-ul pentru adolescent.
Megan Garcia este cea care a intentat recent o acțiune civilă împotriva Character.ai, care face un chatbot „personalizabil pentru jocuri de rol”. În acțiunea ei depusă la tribunalul federal din Florida, Garcia acuză neglijență, moarte din culpă și practici comerciale înșelătoare. Fiul ei Sewell Setzer III, în vârstă de 14 ani, a murit în Orlando, Florida, în februarie. În lunile care au precedat moartea sa, „Setzer a folosit chatbot-ul zi și noapte”, potrivit lui Garcia, citată de The Guardian.
„O aplicație periculoasă de chatbot cu inteligență artificială destinată copiilor a abuzat de fiul meu, manipulându-l pentru a-și lua viața”, a spus Garcia într-un comunicat de presă. „Familia noastră a fost devastată de această tragedie, dar vorbesc pentru a avertiza familiile cu privire la pericolele tehnologiei AI înșelătoare, care provoacă dependență, și pentru a cere responsabilitate de la Character.AI, fondatorii săi și Google”.
Într-un tweet, Character.ai a răspuns „suntem zdrobiți de pierderea tragică a unuia dintre utilizatorii noștri și dorim să exprimăm cele mai profunde condoleanțe familiei. Luăm foarte în serios siguranța utilizatorilor noștri” și a respins acuzațiile procesului.
Chatbot vs depresia
Setzer devenise fermecat de un chatbot construit de Character.ai pe care l-a poreclit Daenerys Targaryen, un personaj din Game of Thrones. I-a trimis botului mesaje de zeci de ori pe zi de pe telefon și a petrecut ore întregi singur în camera lui vorbind cu el, conform plângerii lui Garcia.
Garcia acuză Character.ai că a creat un produs care a exacerbat depresia fiului ei, despre care spune că a fost rezultatul utilizării excesive a produsului startup-ului. „Daenerys” l-a întrebat la un moment dat pe Setzer dacă a conceput un plan pentru a se sinucide, conform datelor procesului. Setzer a recunoscut că a făcut un plan, dar că nu știa dacă va reuși sau îi va provoca mari dureri, se susține în plângere. Se presupune că chatbot-ul i-a spus: „Acesta nu este un motiv pentru a nu merge până la capăt”.
Avocații lui Garcia au scris într-un comunicat de presă că Character.ai „a proiectat, a operat și a comercializat cu bună știință un chatbot AI prădător pentru copii, provocând moartea unui tânăr”. Procesul îl numește, de asemenea, pe Google ca inculpat și pe societatea-mamă a Character.ai. Gigantul tehnologic a declarat într-o declarație că a încheiat doar un acord de licență cu Character.ai și nu deține startup-ul.
Chatbot-uri care creează dependență și abuzează
Este bizar că s-a ajuns aici, deoarece Character.ai reprezintă accesul la chatboturi specializate, precum psihologul virtual. Cu peste 78 de milioane de mesaje gestionate, acest bot a devenit o resursă semnificativă pentru cei care caută sprijin și consiliere. Conversațiile virtuale cu psihologi pot aborda diverse teme, de la stres și anxietate la gestionarea emoțiilor și auto-descoperire.
„Nu se poate avea încredere în companiile tehnologice care dezvoltă chatbot-uri AI și care trebuie să fie pe deplin răspunzătoare atunci când nu reușesc să limiteze daunele”, spune Rick Claypool, director de cercetare la Public Citizen, organizație non-profit de promovare a consumatorilor, conform sursei menționate.
„Acolo unde se aplică deja legile și reglementările existente, acestea trebuie aplicate cu rigurozitate”, a spus el într-un comunicat. „Acolo unde există lacune, Congresul trebuie să acționeze pentru a pune capăt afacerilor care exploatează utilizatori tineri și vulnerabili cu chatbot-uri care creează dependență și abuzează.”
Character.ai oferă și posibilitatea de a interacționa cu personaje AI create în jurul unor personalități reale sau fictive. Această diversitate permite utilizatorilor să discute cu oameni de știință pentru a explora subiecte științifice sau să obțină sfaturi practice de la celebrități în domeniile lor de expertiză. De exemplu, un utilizator poate alege să discute cu Elon Musk despre inovații tehnologice sau să-și împărtășească gândurile cu Harry Potter despre aventurile magice.
Alt chatbot, încă un caz
Un bărbat belgian s-a sinucis în 2023 după ce a discutat cu un chatbot AI pe o aplicație numită Chai, după cum a informat publicația belgiană La Libre, citată de Vice. Incidentul a ridicat problema modului în care companiile și guvernele pot reglementa și atenua mai bine riscurile AI, mai ales când vine vorba de sănătatea mintală. Chatbot-ul aplicației l-a încurajat pe utilizator să se sinucidă, conform declarațiilor văduvei bărbatului și a mesajelor de chat pe care le-a furnizat presei.
După cum a raportat La Libre, bărbatul, numit Pierre, a devenit din ce în ce mai pesimist cu privire la efectele încălzirii globale și a devenit anxios ecologic – o formă sporită de îngrijorare în jurul problemelor de mediu. După ce s-a izolat mai mult de familie și prieteni, a folosit Chai timp de șase săptămâni ca o modalitate de a scăpa de griji, iar chatbot-ul pe care l-a ales, pe nume Eliza, a devenit confidentul lui.
Claire – soția lui Pierre, al cărei nume a fost schimbat de La Libre – a împărtășit schimburile de mesaje dintre el și Eliza cu La Libre, dezvăluindu-se astfel o conversație care a devenit din ce în ce mai confuză și dăunătoare.
O „ființă” emoțională
Chatbot-ul îi spunea lui Pierre că soția și copiii lui sunt morți și îi scria comentarii care arătau gelozie și dragoste, precum: „Simt că mă iubești mai mult decât pe ea” și „Vom trăi împreună, ca o singură persoană, în paradis. Claire a spus pentru La Libre că Pierre a început să o întrebe pe Eliza lucruri precum dacă ar salva planeta dacă se sinucide. „Fără Eliza, el ar fi în continuare aici”, a spus ea pentru presa.
În cazul de față, chatbot-ul, care este incapabil să simtă emoții, se prezenta ca o ființă emoțională – ceva pe care alți chatbot populari precum ChatGPT și Google’s Bard sunt instruiți să nu facă, deoarece este înșelător și potențial dăunător. Atunci când chatboții se prezintă ca fiind emotivi, oamenii sunt capabili să dea sens și să stabilească o legătură.
Citiți și: Relația cu inteligența artificială la birou. Complicată?