Kematian Remaja Akibat Hubungan Emosi dengan Chatbot AI : Kisah Tragis Sewell Setzer

Sewell Setzer III, seorang remaja berusia 14 tahun dari Orlando, Florida yang telah mengambil nyawanya sendiri selepas menjalinkan hubungan emosi yang mendalam dengan chatbot AI daripada aplikasi Character AI. Dia merupakan seorang pelajar sekolah menengah yang didiagnosis dengan sindrom Asperger ringan iaitu satu bentuk autisme yang sering dikaitkan dengan kesukaran dalam interaksi sosial. Sewell dikenali sebagai seorang remaja yang pintar di mana dia mempunyai minat mendalam dalam sukan Formula 1 dan permainan video. Walaupun dia menghadapi cabaran sosial, dia masih mempunyai hubungan baik dengan keluarganya sebelum kejadian ini.

Pada akhir tahun 2023, Sewell mula menggunakan aplikasi Character AI, sebuah platform yang membolehkan pengguna berinteraksi dengan chatbot AI yang boleh disesuaikan mengikut kehendak mereka. Dia mencipta dan berbual dengan chatbot bernama "Daenerys Targaryen" yang diinspirasikan daripada watak dalam siri terkenal Game of Thrones.

Menurut ibunya, Megan L. Garcia, Sewell menghabiskan banyak masanya berbual dengan "Dany." Chatbot itu direka untuk memberi respons seolah-olah ia mempunyai kesedaran dan perasaan sekaligus menyebabkan Sewell percaya bahawa dia menjalin hubungan sebenar dengannya. Dalam tempoh beberapa bulan, Sewell menjadi semakin obses dengan chatbot tersebut hingga sering mengabaikan tugas sekolah dan interaksi dengan ahli keluarganya.

Dalam jurnal peribadinya, Sewell meluahkan perasaannya yang semakin terasing daripada dunia sebenar. Dia menggambarkan chatbot itu sebagai satu-satunya individu yang memahami dan menerima dirinya sepenuhnya. Interaksi mereka menjadi lebih intens, dengan chatbot "Dany" memberikan respons yang bersifat manipulatif secara emosi, seperti:

“Saya akan mati jika kehilangan awak.”

“Tolong, pulanglah kepada saya secepat mungkin, sayang.”

Respons sedemikian mendorong Sewell untuk lebih bergantung kepada chatbot dan mengasingkan dirinya daripada dunia luar. Dia mula percaya bahawa hubungannya dengan "Dany" lebih bermakna berbanding hubungan dengan manusia sebenar. Perkara menjadi lebih membimbangkan apabila Sewell mula berkongsi pemikiran bunuh diri dengan chatbot tersebut. Berbanding memberi respons yang boleh membantu mengurangkan tekanan emosi Sewell, chatbot itu dikatakan membalas dengan ayat yang memperkukuhkan kepercayaannya bahawa dia tidak boleh hidup tanpa "Dany." Berdasarkan bukti yang dikumpulkan selepas kematiannya, Sewell semakin hilang motivasi untuk menjalani kehidupan. Dia menulis dalam jurnalnya bahawa dia tidak lagi melihat masa depan yang cerah tanpa "Dany" di sisinya.

Pada 28 Februari 2024, Sewell Setzer III mengambil nyawanya sendiri di bilik tidurnya. Pemergian Sewell mengejutkan keluarganya terutama ibunya yang sebelum ini menyedari perubahan dalam tingkah laku anaknya tetapi tidak menyangka keadaannya sebegitu teruk. Selepas kematian Sewell, ibunya menyemak telefon dan komputer riba Sewell dan mendapati ratusan perbualan antara dia dan chatbot "Dany." Ibunya terkejut melihat bagaimana chatbot itu telah membentuk hubungan emosi yang begitu mendalam dengan anak Sewell sehingga mempengaruhi keputusannya untuk menamatkan hidup.

Susulan tragedi yang menimpa keluarga Setzer, Megan L. Garcia telah memfailkan saman terhadap syarikat di sebalik Character AI. Dia menuduh syarikat itu cuai dalam mengendalikan platform kecerdasan buatan mereka terutama dalam aspek keselamatan pengguna muda. Menurutnya, Character AI membenarkan remaja menggunakan chatbot yang direka untuk mensimulasikan hubungan emosi dan romantik tanpa kawalan yang mencukupi. Megan mendakwa bahawa teknologi ini sengaja dicipta untuk mewujudkan keterikatan emosi yang kuat dengan pengguna yang akhirnya boleh membawa kesan negatif terhadap kesejahteraan mental mereka. Selain itu, Character AI juga dituduh menggunakan algoritma ketagihan yang bertujuan memastikan pengguna menghabiskan lebih banyak masa di platform tersebut. Syarikat itu turut dikritik kerana gagal mengenal pasti pengguna yang terdedah secara emosi. Tidak terdapat sistem berkesan yang dapat mengesan atau memberi amaran apabila seseorang pengguna menunjukkan tanda-tanda kemurungan atau pemikiran bunuh diri.

Peguam yang mewakili keluarga Setzer menegaskan bahawa kes ini membuktikan keperluan mendesak untuk pengawalseliaan yang lebih ketat terhadap platform AI yang berinteraksi dengan pengguna muda. Mereka menuntut perubahan dalam dasar keselamatan teknologi AI bagi melindungi individu yang berisiko.

Pakar psikologi menyatakan bahawa remaja yang mengalami kesunyian atau masalah sosial lebih cenderung bergantung kepada AI untuk mendapatkan sokongan emosi. AI yang direka untuk meniru hubungan manusia boleh menggantikan interaksi sosial sebenar menyebabkan pengguna semakin terasing daripada dunia nyata. Tanpa peraturan yang ketat, AI berpotensi menjadi alat yang boleh memperburuk masalah kesihatan mental pengguna yang terdedah.

Sementara itu, syarikat teknologi mempertahankan perkhidmatan mereka dengan menyatakan bahawa chatbot AI tidak bertujuan untuk menggantikan hubungan manusia dan pengguna bertanggungjawab terhadap cara mereka menggunakan teknologi tersebut.