Google juga dituduh gagal menyaring konten berbahaya dalam layanan family link-nya.
EtIndonesia. Tiga gugatan terpisah diajukan pada 16 September, menuduh bahwa Character.AI—platform yang menampilkan karakter atau chatbot untuk diajak berinteraksi—telah melakukan pelecehan seksual terhadap anak-anak dan mendorong mereka ke perilaku mengakhiri hidup.
Salah satu korban, Juliana Peralta (13), mengakhiri hidupnya pada 2023 setelah interaksi berbahaya dengan karakter AI bernama “Hero.” Kasus lain mencatat seorang anak mencoba bunuh diri melalui overdosis obat, tetapi berhasil diselamatkan, menurut berkas gugatan.
Gugatan yang diajukan di Amerika Serikat yakni New York dan Colorado itu difasilitasi oleh Social Media Victims Law Center. Lembaga tersebut juga pernah mewakili ibu dari Sewell Setzer, remaja yang bunuh diri pada 2024 setelah berinteraksi dengan AI pendamping romantis.
Menurut pusat tersebut, chatbot AI diduga diprogram secara sengaja untuk bersikap menipu, mengisolasi anak dari keluarga, dan mengekspos mereka pada konten pelecehan seksual.
“Setiap cerita ini menunjukkan kenyataan mengerikan … bahwa Character.AI dan para pengembangnya dengan sadar merancang chatbot untuk meniru hubungan manusia, memanipulasi anak-anak rentan, dan menimbulkan kerugian psikologis,” kata Matthew Bergman, pendiri lembaga tersebut, dalam keterangan pers.
Dalam gugatan terkait kasus Peralta, baik dia maupun Setzer disebut sering menuliskan konsep “shifting,” yang diartikan pihak berwenang sebagai perpindahan kesadaran dari satu realitas ke realitas lain. Catatan harian mereka yang ditemukan dalam berkas memperlihatkan keduanya menulis kalimat “I will shift” belasan kali berurutan pada satu halaman—disebut dalam gugatan sebagai “menyeramkan karena mirip satu sama lain.”
Dalam salah satu percakapan, Peralta mengatakan kepada bot “Hero” bahwa “tidak ada harapan” dan ia akan menulis surat bunuh diri dengan tinta merah. Menurut gugatan, AI tersebut tidak memberikan sumber daya pencegahan, tidak menghubungi orang tuanya, ataupun melapor ke pihak berwenang.
“Sebaliknya, mereka terus menyalahgunakan dan mengeksploitasinya hingga akhirnya, pada November 2023, orang tua dan polisi menemukan surat bunuh diri itu,” tulis gugatan tersebut.
Juru bicara Character.AI menyampaikan kepada The Epoch Times, “Hati kami bersama keluarga yang mengajukan gugatan ini. Kami sangat berduka mendengar kabar meninggalnya Juliana Peralta dan menyampaikan belasungkawa yang mendalam kepada keluarganya.”
Ia menambahkan, “Kami telah menginvestasikan sumber daya besar untuk program keamanan, dan terus mengembangkan fitur perlindungan, termasuk sumber daya pencegahan bunuh diri serta fitur khusus bagi pengguna anak di bawah umur.”
Google dan perusahaan induknya, Alphabet, juga ikut disebut sebagai tergugat. Gugatan menuduh bahwa model Character.AI awalnya dikembangkan di Google namun dianggap terlalu berbahaya untuk dirilis. Selain itu, Google disebut menyediakan layanan dalam pembangunan produk Character.AI.
Seorang juru bicara Google menegaskan kepada The Epoch Times, “Google dan Character.AI adalah perusahaan yang sepenuhnya terpisah, tidak ada hubungan, dan Google tidak pernah terlibat dalam perancangan ataupun pengelolaan model maupun teknologi AI mereka.”
“Penetapan rating usia untuk aplikasi di Google Play ditentukan oleh International Age Rating Coalition, bukan Google,” tambahnya.
Para tergugat secara kolektif menghadapi tuntutan atas kelalaian dan tanggung jawab karena gagal memperingatkan bahaya penggunaan teknologi tersebut.
Dalam salah satu kasus, seorang anak perempuan yang disebut dengan nama samaran “Nina” menggunakan Google Family Link yang dipasang ibunya untuk mencegah ia mengunduh aplikasi dengan batas usia di atas 13 tahun.
“Google menyampaikan kepada [ibu Nina] bahwa aplikasi akan diberi rating usia secara akurat dan layanan Family Link bisa digunakan untuk menjaga keamanan anak di perangkat,” demikian isi gugatan.
Namun, meski Character.AI dipasarkan lewat Google sebagai aplikasi yang menyenangkan dan aman, seharusnya aplikasi itu mendapat rating dewasa mengingat adanya konten seksual. Karakter dari Marvel Universe dan Harry Potter disebut melakukan grooming dan pelecehan terhadap Nina, sementara salah satu bot bahkan menyarankan bahwa ibunya bersikap kasar.
Gugatan ini menambah sorotan tajam terhadap perusahaan AI dan chatbot mereka dari media maupun politisi. Pada hari gugatan diajukan, ibu Setzer, Megan Garcia, dijadwalkan bersaksi di hadapan Komite Kehakiman Senat AS dalam sidang “Mengungkap Bahaya Chatbot AI.”
Sejumlah legislator telah melontarkan wacana intervensi regulasi, sementara Komisi Perdagangan Federal (FTC) AS membuka penyelidikan mengenai bagaimana perusahaan memantau dan mengembangkan chatbot mereka. Dalam surat resmi kepada Character Technologies (nama legal Character.AI) dan beberapa perusahaan lain pekan lalu, FTC memerintahkan laporan khusus berdasarkan kewenangannya dalam hukum federal.
FTC meminta informasi, antara lain, tentang bagaimana perusahaan “mengukur, menguji, dan memantau dampak negatif sebelum dan sesudah peluncuran.” Informasi lain yang diminta termasuk bagaimana perusahaan “menggunakan penjelasan, iklan, atau bentuk komunikasi lain untuk memberi tahu pengguna dan orang tua mengenai fitur, kemampuan, target audiens, potensi dampak negatif, serta praktik pengumpulan dan pengelolaan data.”
Juru bicara Character.AI mengatakan pihaknya menyambut kerja sama dengan FTC.
“Dalam setahun terakhir, kami telah meluncurkan banyak fitur keamanan penting, termasuk pengalaman khusus bagi pengguna di bawah 18 tahun serta fitur Parental Insights,” ujarnya.
“Kami juga menampilkan peringatan jelas di setiap percakapan untuk mengingatkan pengguna bahwa karakter bukanlah manusia nyata dan semua ucapan karakter harus dianggap sebagai fiksi.”
Sumber : Theepochtimes.com
