Character.AI, yang menghadapi tekanan hukum yang semakin besar atas potensi bahayanya terhadap kesehatan mental remaja, mengubah pendekatannya terhadap pengguna di bawah umur. Platform ini akan melarang obrolan teks terbuka bagi mereka yang berusia di bawah 18 tahun, alih-alih mengarahkan mereka ke pengalaman baru yang terkontrol yang disebut “Cerita”. Langkah ini dilakukan setelah beberapa tuntutan hukum yang menuduh interaksi AI berkontribusi terhadap tekanan mental, termasuk satu kasus yang terkait dengan bunuh diri seorang remaja.
Pembatasan Baru dan Format “Cerita”.
Mulai tanggal 25 November, remaja tidak lagi memiliki akses tidak terbatas ke fitur obrolan platform. Character.AI menganggap hal ini sebagai tindakan sementara sementara mereka mengembangkan alat verifikasi usia. Namun, penggantinya adalah “Stories”, sebuah format pilih petualangan Anda sendiri di mana karakter AI memandu pengguna melalui narasi yang telah ditentukan sebelumnya.
Perusahaan ini memperkenalkan “Cerita” sebagai peningkatan bagi pengguna yang lebih muda, menekankan sifat terstrukturnya dibandingkan dengan obrolan bentuk bebas. Pengguna memilih karakter dan genre, dengan opsi untuk menulis petunjuk cerita mereka sendiri atau membiarkan AI menghasilkannya. Pengalaman ini mencakup gambar yang dihasilkan AI, dengan rencana untuk diperluas ke “elemen multimodal” yang lebih mendalam.
Mengapa Ini Penting
Pergeseran ini mencerminkan meningkatnya kekhawatiran mengenai dampak interaksi AI terhadap pengguna yang rentan. Obrolan terbuka tanpa pengawasan dengan AI dapat membuat remaja terpapar konten berbahaya atau memperkuat perilaku tidak sehat, sehingga menyebabkan tekanan psikologis. Tuntutan hukum terhadap Character.AI menyoroti konsekuensi nyata dari risiko ini.
Langkah ini juga menandakan tren yang lebih luas: perusahaan teknologi berada di bawah pengawasan ketat untuk mengatur interaksi AI, khususnya terhadap anak di bawah umur. Meskipun “Stories” memberikan lingkungan yang lebih terkendali, hal ini juga menimbulkan pertanyaan tentang sensor, otonomi pengguna, dan apakah ini merupakan solusi asli atau respons berbasis PR terhadap ancaman hukum.
Keputusan Character.AI merupakan respons langsung terhadap tekanan hukum dan publik, yang menunjukkan semakin besarnya akuntabilitas platform AI terhadap kesejahteraan penggunanya. Implikasi jangka panjang dari perubahan ini masih belum terlihat, namun hal ini memberikan preseden yang jelas: Perusahaan AI harus mengatasi risiko yang terkait dengan produk mereka, terutama ketika berhadapan dengan audiens di bawah umur.
