Sebuah laporan setebal 237 halaman, dibayar ratusan ribu dolar oleh pemerintah, ternyata berisi buku dan kutipan putusan hakim yang tidak pernah ada. Penulisnya bukan mahasiswa baru, melainkan salah satu firma konsultan terbesar di dunia.
Kisah nyata: Deloitte Australia, 2025
Deloitte menyusun laporan untuk Departemen Ketenagakerjaan dan Hubungan Kerja Australia dengan nilai kontrak A$440.000, sekitar US$290.000, menurut Fortune. Seorang akademisi hukum menemukan rujukan akademik yang tidak ada dan kutipan putusan pengadilan federal yang fiktif. Versi revisi kemudian dirilis dengan keterangan bahwa Azure OpenAI dipakai dalam penyusunannya, dan Deloitte mengembalikan sebagian pembayaran, yaitu cicilan terakhir kontrak. Menurut Tirto, seorang senator Australia bahkan berkomentar bahwa kesalahan seperti itu bisa membuat mahasiswa tahun pertama bermasalah kalau dilakukan di kampus.
Kenapa bisa begitu
Riset OpenAI yang terbit September 2025 berargumen bahwa model bahasa berhalusinasi karena cara pelatihan dan penilaiannya memberi hadiah pada tebakan, bukan pada pengakuan tidak tahu. Perumpamaannya seperti ujian pilihan ganda tanpa pengurangan nilai: siswa yang selalu menebak terlihat lebih pintar daripada siswa yang jujur mengosongkan jawaban. Menurut riset itu, halusinasi bukan sekadar bug yang tinggal diperbaiki, ia terkait langsung dengan insentif pelatihan, dan masih muncul bahkan di model-model terbaru.
Tiga jenis jawaban yang paling rawan
Dari kasus Deloitte dan riset tentang halusinasi, ada tiga jenis jawaban yang paling perlu dicurigai: angka, tanggal, dan nama yang sangat spesifik; kutipan, daftar pustaka, dan nomor pasal atau putusan; serta peristiwa terbaru dan informasi lokal yang jarang ditulis. Ketiganya adalah area di mana AI paling sering "mengisi kekosongan" dengan sesuatu yang terdengar masuk akal, bukan sesuatu yang benar-benar ada.
Cara paling aman bukan menunggu AI jadi sempurna, melainkan membiasakan diri mengecek. AI itu seperti pembawa acara yang terampil. Ia tidak pernah gagap, jadi kamu tidak bisa menilai kebenaran isi dari kelancarannya saja.