Meskipun ia merasa terbebani oleh pengalaman bertahun-tahun bekerja di aktivisme internet, Caitlin Roper mendapati dirinya trauma dengan ancaman online yang diterimanya tahun ini.
Ada foto dirinya tergantung di jerat, mati. Dan dirinya yang lain terbakar, menjerit.
Postingan tersebut adalah bagian dari gelombang fitnah yang ditujukan kepada Roper dan rekan-rekannya di Collective Shout, sebuah kelompok aktivis Australia, di X dan platform media sosial lainnya. Beberapa di antaranya, termasuk gambar perempuan yang dikuliti, dipenggal, atau dimasukkan ke dalam pemotong kayu, tampaknya diaktifkan – dan diberi realisme mendalam – oleh kecerdasan buatan generatif. Dalam beberapa video, Roper mengenakan gaun bermotif bunga biru yang sebenarnya miliknya.
“Detail-detail kecil yang aneh inilah yang membuatnya terasa lebih nyata dan, entah bagaimana, merupakan jenis pelanggaran yang berbeda,” katanya. “Hal-hal ini bisa berubah dari fantasi menjadi lebih dari sekadar fantasi.”
AI telah meningkatkan kekhawatiran atas kemampuannya meniru suara nyata untuk tujuan penipuan atau memproduksi pornografi palsu tanpa izin subjek. Kini teknologi ini juga digunakan untuk ancaman kekerasan – mendorong mereka untuk memaksimalkan rasa takut dengan menjadikannya jauh lebih personal, lebih meyakinkan, dan lebih mudah disampaikan.
“Dua hal akan selalu terjadi ketika teknologi seperti ini berkembang: Kita akan menemukan cara-cara yang cerdas, kreatif, dan menarik untuk menggunakannya, dan kita akan menemukan cara-cara yang mengerikan dan mengerikan untuk menyalahgunakannya,” kata Hany Farid, seorang profesor ilmu komputer di Universitas California, Berkeley. “Yang membuat frustrasi adalah ini bukanlah sebuah kejutan.”
Ancaman yang dihasilkan secara digital telah mungkin terjadi setidaknya selama beberapa tahun. Seorang hakim di Florida dikirimi video pada tahun 2023, kemungkinan besar dibuat menggunakan alat penyesuaian karakter di video game Grand Theft Auto 5, yang menampilkan avatar yang tampak dan berjalan seperti dia diretas dan ditembak mati.
Namun gambar-gambar yang mengancam dengan cepat menjadi lebih mudah dibuat dan lebih persuasif. Satu halaman YouTube memiliki lebih dari 40 video realistis – kemungkinan besar dibuat menggunakan AI, menurut para ahli yang meninjau saluran tersebut – masing-masing menampilkan seorang wanita yang ditembak. (YouTube, setelah The New York Times menghubunginya, mengatakan bahwa mereka telah menghentikan saluran tersebut karena “beberapa pelanggaran” terhadap pedomannya.) Sebuah video palsu yang menunjukkan seorang siswa yang membawa senjata membuat sebuah sekolah menengah dikunci pada musim semi ini. Pada bulan Juli, seorang pengacara di Minneapolis mengatakan chatbot Grok xAI telah memberikan instruksi rinci kepada pengguna media sosial anonim tentang cara membobol rumahnya, melakukan pelecehan seksual, dan membuang jenazahnya.
Hingga saat ini, kecerdasan buatan hanya dapat meniru orang sungguhan jika mereka memiliki kehadiran online yang besar, seperti bintang film yang memiliki banyak foto yang dapat diakses publik. Kini satu gambar profil saja sudah cukup, kata Farid, yang ikut mendirikan GetReal Security, sebuah layanan yang mengidentifikasi konten digital berbahaya. (Roper mengatakan dia mengenakan gaun bermotif bunga biru dalam foto yang diterbitkan beberapa tahun lalu di surat kabar Australia.)
Hal yang sama juga terjadi pada suara – yang dulunya membutuhkan waktu berjam-jam untuk mengkloning contoh data, kini hanya membutuhkan waktu kurang dari satu menit.
“Kekhawatirannya adalah saat ini, hampir semua orang yang tidak memiliki keterampilan namun memiliki motif atau tidak memiliki ketelitian dapat dengan mudah menggunakan alat-alat ini untuk melakukan kerusakan,” kata Jane Bambauer, seorang profesor yang mengajar tentang AI dan hukum di Universitas Florida.
Kekhawatiran tentang ancaman dan pemerasan yang dibantu AI semakin meningkat dengan diperkenalkannya Sora pada bulan September, sebuah aplikasi teks-ke-video dari OpenAI. Aplikasi tersebut, yang memungkinkan pengguna mengunggah gambar diri mereka untuk dimasukkan ke dalam adegan hiperrealistis, dengan cepat menggambarkan orang-orang sebenarnya dalam situasi yang menakutkan.
Times menguji Sora dan memproduksi video yang menunjukkan seorang pria bersenjata di ruang kelas yang berdarah dan seorang pria berkerudung menguntit seorang gadis muda. Grok pun dengan sigap menambahkan luka tembak berdarah ke foto orang sungguhan.
“Dari sudut pandang identitas, semua orang rentan,” kata Farid.
Juru bicara OpenAI mengatakan perusahaannya mengandalkan berbagai pertahanan, termasuk pagar pembatas untuk memblokir pembuatan konten yang tidak aman, eksperimen untuk mengungkap kelemahan yang sebelumnya tidak diketahui, dan sistem moderasi konten otomatis. (The Times menggugat OpenAI pada tahun 2023, mengklaim pelanggaran hak cipta atas konten berita terkait sistem AI, sebuah pernyataan yang dibantah oleh OpenAI.)
Namun, para ahli di bidang keamanan AI mengatakan bahwa perusahaan belum berbuat cukup banyak. Alice Marwick, direktur penelitian di Data & Society, sebuah organisasi nirlaba, menggambarkan sebagian besar pagar pembatas sebagai “lebih seperti polisi lalu lintas yang malas daripada penghalang yang kokoh; Anda bisa mendapatkan model untuk mengabaikannya dan mengatasinya.”
Roper mengatakan banyaknya pelecehan online yang dimulai musim panas ini – termasuk ratusan postingan melecehkan yang dikirim khusus kepadanya – terkait dengan upayanya dalam kampanye untuk menutup video game kekerasan yang mengagung-agungkan pemerkosaan, inses, dan penyiksaan seksual. Di X, tempat sebagian besar pelecehan muncul, katanya, beberapa gambar dan akun yang melecehkan telah dihapus. Namun perusahaan tersebut juga berulang kali mengatakan kepadanya bahwa postingan lain yang menggambarkan kematiannya yang kejam tidak melanggar persyaratan layanan platform. Faktanya, X pernah memasukkan salah satu pelaku pelecehannya ke dalam daftar akun yang direkomendasikan untuk dia ikuti.
Beberapa pelaku pelecehan juga mengaku telah menggunakan Grok tidak hanya untuk membuat gambar tetapi juga untuk mencari cara menemukan wanita tersebut di rumah dan di kafe setempat.
Muak, Roper memutuskan untuk memposting beberapa contoh. Segera setelah itu, menurut tangkapan layar, X memberitahunya bahwa dia melanggar kebijakan keamanannya terhadap konten berdarah yang tidak beralasan dan mengunci akunnya untuk sementara.
Baik X maupun xAI, perusahaan pemilik Grok, tidak menanggapi permintaan komentar.
AI juga membuat jenis ancaman lain menjadi lebih meyakinkan – misalnya, pukulan, praktik melakukan panggilan darurat palsu dengan tujuan memicu respons besar dari polisi dan personel darurat. AI “telah secara signifikan meningkatkan skala, ketepatan dan anonimitas” serangan-serangan tersebut, kata Asosiasi Jaksa Agung Nasional pada musim panas ini. Pada skala yang lebih kecil, serentetan video yang dibuat oleh AI yang menunjukkan dugaan adanya penyerbuan ke rumah telah menyebabkan penduduk yang menjadi target menelepon departemen kepolisian di seluruh negeri.
Kini para pelaku pemukulan dapat menyusun laporan palsu yang meyakinkan dengan mengkloning suara dan memanipulasi gambar. Salah satu pemukul berantai menggunakan simulasi tembakan untuk menunjukkan bahwa penembak berada di tempat parkir sekolah menengah negeri Washington. Kampus dikunci selama 20 menit; petugas polisi dan agen federal muncul.
AI telah mempersulit upaya sekolah untuk melindungi siswa, meningkatkan kekhawatiran tentang gambar-gambar seksual yang dipersonalisasi atau rumor yang disebarkan melalui video palsu, kata Brian Asmus, mantan kepala polisi yang bekerja sebagai manajer senior keselamatan dan keamanan distrik sekolah ketika pemukul tersebut menelepon. Kini teknologi ini menambah tantangan keamanan ekstra, membuat alarm palsu lebih sulit dibedakan dari panggilan darurat yang sebenarnya.
“Bagaimana penegakan hukum menyikapi sesuatu yang tidak nyata?” tanya Asmus. “Saya kira kita belum benar-benar maju.”
