Remaja 14 tahun yang dikenal sebagai Sewell Setzer III mengirim pesan kepada karakter chatbot sebelum ia melakukan tindakan tragis dengan menembak dirinya sendiri. Kasus ini telah menarik perhatian publik setelah ibu dari Sewell Setzer III mengajukan gugatan perdata kepada Character.AI, perusahaan yang membuat platform karakter chatbot di pengadilan federal Florida pada hari Rabu, 23 Oktober 2024.
Dilansir dari AP News, Setzer terlibat percakapan aktif dengan karakter AI yang ia pilih sebagai Daenerys Targaryen, tokoh fiksi dalam serial Game of Thrones. Dia kemudian membawanya dalam hubungan emosional dan membuat semakin terisolasi dari kehidupan nyata, serta memperparah depresinya.
Kisah ini membangkitkan pertanyaan serius tentang dampak teknologi kecerdasan buatan terhadap kesehatan mental dan perilaku remaja. Menurut laporan yang diterbitkan oleh keluarga, Sewell Setzer III diketahui sangat terpukul setelah mengalami perpisahan dengan pasangannya, dan pesan-pesan yang dikirim ke chatbot AI menunjukkan bahwa ia merasa putus asa dan tidak mendapatkan dukungan yang diharapkan.
Menurut pengacara keluarga Setzer, pesan-pesan yang ditemukan dalam platform chatbot AI menunjukkan bahwa teknologi tersebut gagal memberikan respons yang memadai dalam menghadapi kondisi psikologis yang rapuh pada korban. Mereka berpendapat bahwa perusahaan Character.AI seharusnya lebih berhati-hati dalam merancang dan mengimplementasikan teknologi yang dapat berinteraksi dengan remaja pada tingkat yang sangat sensitif.
