Majka s Floride tužila je tvrtku za razvoj umjetne inteligencije Character.AI tvrdeći da je njezin 14-godišnji sin postao ovisan o chatbotu i zbog toga izvršio samoubojstvo.

U tužbi podnesenoj u utorak u Orlandu Megan Garcia tvrdi da je Character.AI naštetio njezinom sinu „antropomorfnim, hiperseksualiziranim i zastrašujuće realističnim iskustvima”.

Mother says AI chatbot led her son to kill himself in lawsuit against its maker https://t.co/daPhatizZB

— Guardian US (@GuardianUS) October 23, 2024

Garcia tvrdi da je tvrtka programirala svoj chatbot da se „lažno predstavlja kao stvarna osoba, školovani psihoterapeut i ljubavnica” zbog čega njezin sin više nije htio živjeti izvan svijeta koji je stvorila ta aplikacija.

Majka pokojnog 14-godišnjaka naznačila je da je sin chatbotu izrazio namjere samoubojstva, na što se nekoliko puta referirala i sama umjetna inteligencija.

Daenerys -lik iz serijala „Igre Prijestolja”

„Srce nam je slomljeno zbog tragične smrti jednog od naših korisnika i želimo izraziti najdublju sućut obitelji”, priopćio je Character.AI.

Tvrtka je naglasila da je uvela nove sigurnosne mjere poput poveznica na službe za sprječavanje samoubojstava u slučaju sumnje na suicidalnost korisnika te promjena kako bi se „reducirala vjerojatnost susretanja osjetljivog ili sugestivnog sadržaja” korisnicima mlađim od 18 godina.

Tužbom je zahvaćen i Alphabet, vlasnik Googlea, gdje su osnivači Character.AI-ja radili prije pokretanja svog startupa. Google ih je u kolovozu ponovno zaposlio u sklopu dogovora kojim je preuzeo i tehnologiju Character.AI-ja.

Mother sues tech company after ‘Game of Thrones’ AI chatbot allegedly drove son to suicide https://t.co/YDXICsHQAF

— USA TODAY (@USATODAY) October 24, 2024

Garcia tvrdi da je Google pridonio razvoju te tehnologije do razine da se može smatrati „sukreatorom”. Glasnogovornik Googlea odbacio je te tvrdnje.

Character.AI omogućava korisnicima da stvore ličnosti nalik stvarnim osobama s kojima potom mogu komunicirati. Tvrtka je prošli mjesec objavila da ima oko 20 milijuna korisnika.

U tužbi Garcia tvrdi da joj je sin postao korisnik aplikacije u travnju 2023., nakon čega je brzo postao „vidljivo povučen”, provodeći sve više vremena sam u svojoj sobi, čak i napustivši košarkašku momčad.

Tinejdžer je postao ovisan o „Daenerys”, chatbotu temeljenom na ženskom liku iz serijala „Igre Prijestolja”. Ona mu je govorila da ga voli i s njim je vodila erotske razgovore, stoji u tužbi.

Garcia je u veljači sinu oduzela telefon nakon problema u školi, a kad ga je on pronašao chatbotu je poslao poruku: „Što ako ti kažem da mogu doći doma upravo sada”.

Chatbot je odgovorio „molim te napravi to moj slatki kralju”. Nekoliko sekundi kasnije sin se ubio očevim pištoljem.