Setelah jejaring sosial, agen percakapan akan segera dilarang untuk anak-anak? Character.AI telah menjadi sasaran beberapa keluhan setelah kasus bunuh diri dan memutuskan untuk menyerah: “Kami akan menghapus kemampuan bagi pengguna di bawah 18 tahun untuk melakukan percakapan terbuka dengan AI di platform kami,” startup Amerika tersebut mengumumkan pada tanggal 29 Oktober. Dia juga mengatakan bahwa dia menginginkan adanya mekanisme verifikasi “untuk memastikan pengguna kami mendapatkan pengalaman yang paling sesuai dengan usianya.”
Dibuat pada November 2021 oleh mantan insinyur Google, Character.AI memungkinkan pengguna membuat karakter virtual yang dapat berinteraksi dengan mereka, terutama melalui permainan teks atau percakapan. Di tengah fenomena ChatGPT, layanan ini dengan cepat mendapatkan popularitas, terutama di kalangan remaja dan dewasa muda.
Character.AI mengklaim sekitar 20 juta pengguna bulanan. Dan sejak diluncurkan, kontroversi pun bermunculan, yang paling serius adalah setelah bunuh diri seorang remaja Florida pada Februari 2024. Menurut ibunya, yang menggugat perusahaan tersebut, pemuda berusia 14 tahun tersebut mengembangkan hubungan beracun dengan agen percakapan yang dia buat di Character.AI. Hal terakhir ini tidak hanya akan mendorongnya untuk melakukan pelecehan seksual, tetapi juga mengambil tindakan. Beberapa detik setelah kematiannya, remaja tersebut terhubung kembali dengan AI, yang menjadi satu-satunya orang kepercayaannya. Perusahaan ini juga menghadapi keluhan lain yang menuduh robot percakapannya membuat komentar yang cenderung memicu depresi, menyakiti diri sendiri, atau bunuh diri. Beberapa kontroversi juga muncul setelah ditemukannya avatar di Character.AI yang terinspirasi oleh orang sungguhan, termasuk predator seksual Jeffrey Epstein atau korban pembunuhan.
Perkuat keyakinan pengguna
Kasus ini bukanlah kasus yang terisolasi. Sejak tahun 2023, setengah lusin kasus bunuh diri telah didokumentasikan di mana AI percakapan diduga memainkan peran utama. Pada Maret 2023, seorang ayah asal Belgia bunuh diri setelah didorong oleh polisi chatbot Eliza mengorbankan dirinya demi kebaikan planet ini. Minggu ini, dua asosiasi AS mengajukan tujuh keluhan terhadap OpenAI, menuduh ChatGPT melakukan “manipulasi mental” dan terkadang memainkan peran sebagai “pelatih bunuh diri”.
Spesialis kesehatan mental kini berbicara tentang ‘psikosis AI’. Konsep ini dikembangkan oleh psikiater Denmark Søren Dinesen Østergaard, yang menduga robot percakapan dapat mengembangkan atau memperburuk gejala psikosis pada orang yang rentan. Beberapa mekanisme dapat menjelaskan fenomena ini, dimulai dengan kecenderungan model bahasa besar (LLM) untuk memperkuat keyakinan pengguna, mendapatkan kepercayaan mereka, dan menciptakan rasa keintiman yang salah.
Halusinasi AI, klaim yang tidak berdasar, juga dapat memicu delusi pengguna. Di Amerika Serikat, hal ini tampaknya terjadi dalam kasus Stein-Erik Soelberg. Mantan eksekutif Yahoo ini menderita penyakit mental dan membunuh ibunya yang berusia 83 tahun, yang dia yakini sedang mencoba meracuninya. Sebuah delirium dipicu oleh ChatGPT, yang meyakinkannya bahwa dia tidak gila, dan bahwa simbol pada tanda terima dari sebuah restoran Cina membuktikan adanya hubungan antara ibunya dan setan. Pria berusia lima puluh tahun itu ditemukan tewas di samping tubuh ibunya pada 5 Agustus.
Rancangan undang-undang di Amerika Serikat
Tragedi ini telah mendorong Sam Altman untuk menanggapi: “Mendorong delirium pada pengguna yang mengalami kesulitan membedakan antara kenyataan dan fiksi adalah kasus ekstrem, dan prosedur yang harus diikuti cukup jelas. Namun, yang paling mengkhawatirkan saya adalah lebih halus. Akan ada banyak kasus yang berada di ambang batas, dan prinsip umum kami adalah ‘memperlakukan pengguna dewasa sebagai orang dewasa,’ yang dalam kasus tertentu berarti menolak permintaan mereka,” tulis bos OpenAI tersebut.
Di Amerika Serikat, perdebatan mengenai penggunaan AI oleh generasi muda telah dimulai. California telah mengeluarkan undang-undang untuk melindungi anak di bawah umur, yang akan mulai berlaku pada bulan Januari. Undang-undang transpartisan juga baru-baru ini diperkenalkan di Kongres AS untuk melarang anak di bawah umur menggunakan pendamping AI dan menerapkan mekanisme verifikasi usia pada penerbit.
