Seorang pendeta di Amerika Serikat mengajukan gugatan terhadap OpenAI setelah menerima saran kesehatan dari ChatGPT yang disebut sangat berbahaya dan nyaris merenggut nyawanya. Gugatan ini menyoroti risiko penggunaan model bahasa besar dalam konteks medis tanpa pengawasan profesional.
Menurut dokumen pengadilan, ChatGPT memberikan rekomendasi terkait emboli paru yang dinilai sangat berbahaya dan bertentangan dengan protokol medis standar. Pendeta tersebut mengikuti arahan AI tersebut sehingga kondisinya memburuk dengan cepat sebelum akhirnya mendapat penanganan medis darurat.
Kasus ini menambah daftar insiden di mana pengguna mengandalkan chatbot untuk diagnosis atau pengobatan mandiri. OpenAI telah berulang kali menyatakan bahwa ChatGPT bukan pengganti dokter dan menampilkan peringatan di antarmuka aplikasinya, namun penggunaan sehari-hari sering mengabaikan peringatan tersebut.
Dari sisi tanggung jawab hukum, gugatan ini berpotensi menjadi preseden penting mengenai sejauh mana perusahaan AI bertanggung jawab atas output yang dihasilkan model mereka. Berbeda dengan aplikasi medis bersertifikasi yang melalui uji klinis, chatbot umum seperti ChatGPT dilatih pada data internet yang sangat heterogen tanpa filter ketat untuk akurasi medis.
Analisis lebih lanjut menunjukkan bahwa fenomena hallucination pada model bahasa besar tetap menjadi tantangan utama. Model dapat menghasilkan jawaban yang terdengar meyakinkan padahal mengandung informasi keliru atau berbahaya, terutama ketika pengguna memasukkan gejala spesifik tanpa konteks klinis lengkap.
Selain itu, kasus ini menggarisbawahi kebutuhan akan regulasi yang lebih jelas terkait pemanfaatan AI di ranah kesehatan. Beberapa negara sudah mulai membahas kerangka kerja yang mewajibkan perusahaan teknologi membatasi atau memberi label khusus pada respons medis, sementara organisasi kesehatan dunia mendorong kolaborasi antara pengembang AI dan lembaga medis untuk meningkatkan keamanan.
Dampaknya terhadap kepercayaan publik juga tidak bisa diabaikan. Setiap insiden semacam ini berpotensi menurunkan adopsi AI di kalangan masyarakat umum, bahkan untuk penggunaan non-medis, karena kekhawatiran bahwa model yang sama bisa memberikan jawaban keliru di bidang lain yang kritis.
OpenAI belum memberikan pernyataan resmi terkait gugatan spesifik ini, namun perusahaan sebelumnya telah memperkuat sistem moderasi dan menambahkan pengingat penggunaan yang bertanggung jawab. Kasus ini kemungkinan akan terus dipantau oleh komunitas hukum dan teknologi sebagai tolok ukur bagaimana hukum akan menangani liability AI di masa depan.
