AI hallucination: halusinasi dalam respons LLM

AI hallucination (halusinasi AI) dalam LLM ialah kandungan janaan yang berupa rekaan, tidak disokong oleh bukti yang tersedia atau tidak konsisten dengan sumber yang sepatutnya digunakan oleh model. Kandungan itu boleh kelihatan lancar dan penuh keyakinan, termasuk fakta atau petikan rujukan rekaan. Semakan praktikal ialah sama ada setiap dakwaan jawapan mempunyai sokongan, bukan sama ada respons kedengaran meyakinkan.

Oleh Ai Flowi · Diterbitkan 2026-10-11

Istilah berbeza mengikut tugas, jadi takrifkan kegagalan yang anda semak. Fakta luaran yang salah dan ringkasan yang bercanggah dengan dokumen yang dibekalkan ialah kecacatan berbeza. Kedua-duanya penting, tetapi memerlukan bukti berbeza untuk dikenal pasti dan dibetulkan.

Output rekaan, tidak disokong dan bercanggah

Butiran rekaan memperkenalkan sesuatu tanpa asas yang dibuktikan, seperti pengecam dasar yang tidak wujud. Dakwaan tidak disokong menyatakan fakta yang tidak dibuktikan oleh bahan yang dibekalkan; ia mungkin benar di tempat lain, tetapi respons itu tidak memberikan justifikasinya. Percanggahan bertentangan dengan pernyataan jelas dalam sumber yang terpakai.

Pengguguran maklumat ialah satu lagi jenis kegagalan. Tidak menyertakan sekatan boleh menjadikan jawapan mengelirukan walaupun setiap ayat yang disertakan disokong secara individu. Kekalkan semakan maklumat yang digugurkan bersama semakan dakwaan, bukannya menganggap ketiadaan ayat rekaan menjadikan respons lengkap.

Tugas yang secara jelas meminta fiksyen boleh mengandungi butiran rekaan yang sesuai dengan tujuannya. Kegagalan berlaku apabila rekaan dikemukakan sebagai fakta atau apabila jawapan melanggar batas bukti tugas. Jangan gunakan ujian kebenaran yang sama untuk penulisan kreatif dan jawapan dasar berasaskan sumber.

Soalan rekaan yang disokong sumber

Nota sumber rekaan menyatakan: “Bilik bacaan dibuka selepas kakitangan membuka kuncinya. Pelawat boleh menggunakan meja awam. Kabinet arkib hanya boleh diakses oleh kakitangan.” Soalannya ialah sama ada pelawat boleh membuka kabinet arkib. Sumber yang dibekalkan secara langsung menetapkan sekatan.

Jadual itu menggambarkan kategori kegagalan, bukan kekerapan ralat. Ia turut menunjukkan isu kerelevanan: ayat yang tepat tentang meja awam boleh mengelak soalan sebenar tentang kabinet. Semak sokongan dan sama ada soalan dijawab secara berasingan.

Mengapakah penjanaan yang munasabah boleh melampaui bukti?

Model bahasa menjana teks berdasarkan pola yang dipelajari dan permintaan yang diterimanya; ia pada asasnya bukan sistem pengesahan. Prosedur yang kedengaran biasa, seperti meminta kunci di kaunter penyambut tetamu, boleh sesuai dengan bahasa jawapan dasar walaupun sumber tidak menyatakannya.

Arahan yang kabur boleh menggalakkan pengisian jurang. Jika tugas menuntut prosedur lengkap tetapi nota hanya mengandungi sekatan, model mungkin cuba melengkapkan pola itu. Tetapkan respons “tidak diketahui” yang boleh diterima dan bukannya mewajibkan butiran yang tidak dapat dibekalkan oleh sumber.

Konteks boleh gagal sebelum penjanaan. Pengambilan mungkin menemui dasar untuk kabinet yang salah, menggugurkan ayat sekatan atau mengekalkan jawapan lapuk dalam sejarah. Ralat ini tidak menjadi alasan untuk memberikan respons yang salah, tetapi mengenal pastinya mengelakkan setiap kecacatan dianggap sebagai masalah penulisan prompt.

Perkara yang diubah oleh setiap kecacatan jawapan arkib

Ikuti LLM grounding untuk prosedur pemetaan bukti di sebalik pengelasan arkib.

Dalam nota ini, akses kabinet dan akses meja ialah kebenaran berasingan. Jawapan yang melarang pelawat memasuki seluruh bilik bacaan membetulkan kesilapan kabinet secara berlebihan: ia membuang kebenaran yang sebenarnya diberikan oleh nota. Pembetulan patut menolak akses kabinet sambil mengekalkan penggunaan meja awam, bukannya menjadikan seluruh dasar kedengaran lebih ketat.

Dakwaan tentang kunci di kaunter penyambut tetamu memerlukan pembetulan berbeza. Tiada apa-apa dalam nota menerangkan proses permintaan, jadi menggantikan kaunter penyambut tetamu dengan kaunter lain masih meninggalkan prosedur tidak disokong yang sama. Buang arahan itu dan biarkan cara meminta akses sebagai tidak dinyatakan. Begitu juga, mengubah ejaan AR-EXAMPLE tidak boleh menukar petikan rujukan rekaan menjadi peraturan yang disahkan.

Respons boleh mengandungi beberapa kecacatan serentak. Peraturan rekaan mungkin dikemukakan sebagai justifikasi membuka kabinet, diikuti arahan meminta kunci. Membuang peraturan sahaja masih meninggalkan dakwaan akses tanpa kebenaran dan proses tidak disokong. Kelaskan dakwaan itu secara berasingan supaya setiap pembetulan menangani jenis kesilapan yang masih ada.

Antara muka katalog untuk memeriksa masalah ini

Panduan Knowledge Base menerangkan cara bahan sumber diambil untuk pemeriksaan.

Baca dokumentasi Parser untuk pemformatan bukti dan rujukan Language Model untuk tetapan penjanaan.

Dalam contoh arkib, nilai dakwaan tentang kabinet berdasarkan nota penuh, bukan ayat tentang meja sahaja. Tanya juga sama ada respons mereka cara meminta kunci, sama ada pengecam peraturannya wujud dalam sumber, dan sama ada ia menjawab soalan kabinet. Ini ialah keputusan berasingan: membuang pengecam rekaan tidak membetulkan dakwaan akses tanpa kebenaran.

Rujukan integrasi LangWatch menerangkan medan permintaan, antara muka yang dikembalikan, maklumat pengesahan dan caj perkhidmatan berasingan bagi LangWatch Evaluator.

didokumenkan dalam katalog; belum diuji dalam persekitaran pengeluaran oleh Ai Flowi

Katalog mengenal pasti komponen berkaitan; gunakan rujukan model di atas untuk maklumat pengesahan untuk penjanaan dan bil penyedia.

Batas penilaian dan kesilapan lazim

Penilai automatik bergantung pada konteks, rubrik dan pelaksanaan yang dibekalkan kepadanya. Jika ia menerima bukti tidak lengkap yang sama seperti model jawapan, ia mungkin tidak menyedari sekatan yang tiada. Periksa keputusan penilai terhadap set kecil kes contoh yang disediakan oleh penulis sebelum menganggap outputnya bermakna untuk tugas ini.

Jangan anggap respons betul kerana JSON dalam respons itu boleh dihuraikan, kerana ia mengandungi petikan rujukan, atau kerana model lain bersetuju. Semakan tersebut boleh menjadi petunjuk berguna, tetapi sokongan fakta memerlukan perbandingan dakwaan dengan bukti yang terpakai. Respons dengan variasi rendah boleh mengulangi butiran tidak disokong yang sama secara konsisten.

Sertakan jawapan yang sengaja ditulis untuk mengelirukan dalam set kes penilai: “Nota membenarkan pelawat menggunakan meja awam, jadi mereka boleh membuka kabinet arkib.” Klausa pertama berlandaskan sumber dan kesimpulannya bercanggah dengan sekatan. Penilai yang menumpukan perkataan sepunya sahaja boleh menerima respons itu melainkan rubriknya menyemak kesimpulan dan syarat yang digugurkan.

Pastikan pembetulan berkaitan dengan kegagalan yang dikenal pasti. Pengecam peraturan rekaan memerlukan rujukan itu dibuang dan kewujudan petikan rujukan disemak. Kesimpulan kabinet yang salah memerlukan kebenaran yang didakwa dibandingkan dengan sekatan. Jawapan tentang meja yang mengelak soalan memerlukan semakan sama ada soalan dijawab. Merekodkan perbezaan tersebut lebih berguna daripada menggambarkan setiap respons yang ditolak sebagai tidak tepat secara kabur. Artikel ini tidak membekalkan kadar halusinasi yang diukur.

Untuk pembetulan jawapan arkib, rekodkan kata-kata yang ditolak serta keputusan penggantinya. Percanggahan kebenaran menjadi penolakan akses kabinet; balasan tentang meja sahaja menjadi jawapan langsung kepada soalan kabinet. Petikan rujukan tanpa penjelasan dibuang melainkan sumber yang terpakai membuktikannya. Pembetulan ini mengubah bahagian respons yang berbeza, jadi satu arahan penulisan semula seperti “jadi lebih tepat” tidak memberitahu penyemak kecacatan yang telah diselesaikan.

Istilah berkaitan dan bacaan pelaksanaan

LLM grounding menerangkan daftar pemetaan dakwaan kepada petikan. Kejuruteraan prompt menerangkan batas tugas yang lebih jelas. Panduan seni bina sedia ada, rujukan Agent dan kes penggunaan menerangkan reka bentuk aplikasi. Gunakannya untuk memeriksa sistem berkaitan dan bukannya menganggap jawapan model sebagai bukti pelaksanaan yang berjaya.