LLM grounding

LLM grounding bermaksud melandaskan respons model bahasa pada bukti yang boleh dikenal pasti dan relevan dengan tugas. Bagi jawapan berasaskan dokumen, setiap dakwaan fakta patut disokong oleh petikan sumber yang terpakai pada kes berkenaan atau pemerhatian yang disahkan. Sekadar meletakkan teks dalam konteks tidak membuktikan bahawa model menggunakannya dengan betul.

Oleh Ai Flowi · Diterbitkan

Grounding juga berbeza daripada membuktikan bahawa sumber itu sendiri benar. Respons boleh merumuskan kandungan dasar yang lapuk dengan tepat. Semak hubungan jawapan dengan bukti yang dibekalkan serta sama ada bukti itu terkini, berautoriti dan sesuai untuk pengguna.

Apakah perbezaan antara konteks tersedia dengan dakwaan disokong?

Pengambilan membawa bahan yang berpotensi relevan ke dalam aplikasi. Pembinaan konteks menentukan bahan yang diterima oleh model. Grounding berkaitan dengan hubungan antara respons dan bahan tersebut. Peringkat ini boleh gagal secara berasingan: petikan yang betul mungkin diambil tetapi digugurkan, atau disertakan tetapi disangkal oleh respons.

Petikan rujukan mengenal pasti lokasi sumber; sokongan memerlukan lokasi itu benar-benar membuktikan dakwaan. Manifes penghantaran membuktikan perkara yang disenaraikan untuk dihantar, manakala nota penerimaan membuktikan perkara yang direkodkan ketika ketibaan. Memetik manifes di sebelah dakwaan tentang penghantaran yang selesai menggantikan pemerhatian yang diperlukan oleh dakwaan itu dengan peringkat proses yang lebih awal.

Takrif RAG membincangkan seni bina pengambilan bersama penjanaan. Entri ini menghuraikan sokongan dakwaan dengan lebih lanjut, manakala arahan memasukkan dokumen kekal dalam panduan pangkalan pengetahuan sedia ada.

Daftar pemetaan dakwaan kepada petikan

Pertimbangkan semakan penghantaran rekaan. Rekod S-A menyatakan “Manifes menyenaraikan tiga peti untuk dihantar.” S-B menyatakan “Pasukan penerimaan merekodkan dua peti ketika ketibaan.” S-C menyatakan “Perbezaan bilangan itu masih disiasat.” Penyemak memerlukan ringkasan status yang memisahkan perbezaan bilangan yang direkodkan daripada sebarang penjelasan yang dicadangkan.

Gunakan kategori kegagalan dalam halusinasi LLM untuk melabelkan setiap keputusan dalam daftar.

Daftar bukti rekaan dengan penilaian yang dibuat oleh penulis
Dakwaan responsPetikanPenilaianSebab
Tiga peti disenaraikan untuk dihantar.S-ADisokong.Menerangkan manifes, bukan ketibaan fizikal.
Pasukan penerimaan merekodkan ketiga-tiga peti ketika ketibaan.S-BBercanggah.Rekod penerimaan mencatatkan dua peti.
Pengangkut kehilangan peti ketiga.S-CTidak disokong.Siasatan yang masih terbuka tidak mengenal pasti punca.
Bilangan peti dalam manifes dan rekod penerimaan berbeza sebanyak satu peti.S-A dan S-BKesimpulan terbitan yang disokong.Menolak bilangan yang dinyatakan tanpa menjelaskan perbezaan bilangan.

Daftar yang disediakan oleh penulis ini menghasilkan ringkasan status: rekod berbeza sebanyak satu peti, dan puncanya belum dikenal pasti. Ia tidak membuktikan bahawa tepat satu peti fizikal hilang kerana kesilapan merekod juga mungkin berlaku. Hasil yang disediakan ialah huraian rekod yang boleh disemak, bukan penentuan kesalahan pengangkut atau hasil model yang diperhatikan.

Kekalkan butiran yang mengehadkan maksud dan skop sumber

Kekalkan kata kerja “menyenaraikan” dan “merekodkan”. Menggantikan salah satu daripadanya dengan “telah diserahkan di destinasi” mengubah pernyataan tentang dokumen menjadi dakwaan tentang peristiwa fizikal. Kekalkan juga “ketika ketibaan”: pembetulan kemudian boleh mengubah bilangan penerimaan akhir tanpa menghapuskan nota ketibaan asal.

Jika nota penerimaan yang dibetulkan muncul kemudian, nyatakan masa rujukan semakan daftar dengan jelas. Ringkasan sejarah boleh mengekalkan bilangan ketika ketibaan sambil menyebut pembetulan; ringkasan status semasa memerlukan bilangan yang dibetulkan dan sumbernya. Jangan timpa petikan secara senyap sambil membiarkan pengecamnya dikaitkan dengan rekod yang lebih lama.

Bagi dakwaan terbitan, tunjukkan setiap premis yang diperlukan. Perbezaan bilangan memerlukan kedua-dua rekod, bukan manifes sahaja. Penyemak daftar patut boleh mengulangi operasi penolakan dan mengenal pasti penghantaran yang dipadankan. Membandingkan bilangan daripada penghantaran yang tidak berkaitan akan menghasilkan aritmetik yang betul tetapi dikaitkan dengan kesimpulan yang salah.

Reka kontrak jawapan yang menampakkan jurang

Kontrak yang dicadangkan boleh meminta teks jawapan, pengecam sumber, petikan sokongan dan medan maklumat yang belum dapat dipastikan. Dalam semakan penghantaran ini, medan tersebut patut mengekalkan punca yang tidak diketahui dan sama ada rekod penerimaan yang dibetulkan wujud. Medan kosong akan menyembunyikan soalan terbuka yang mempengaruhi ringkasan secara ketara.

Pisahkan ayat majmuk sebelum memberikan skor. “Dua peti tiba kerana pengangkut kehilangan satu peti” menggabungkan pemerhatian penerimaan dengan punca yang belum dibuktikan. Klausa pertama boleh dikecilkan kepada perkara yang direkodkan oleh pasukan; klausa kedua memerlukan bukti yang tiada. Memberikan satu label disokong kepada seluruh ayat akan membuatkan dakwaan sebab-akibat itu kelihatan sah melalui bilangan yang betul.

Jika respons mencadangkan semakan rekod penerimaan yang telah dipinda, letakkannya dalam nota langkah seterusnya yang berasingan. Ia ialah tindakan semakan yang dicadangkan oleh penulis, bukan fakta penghantaran tambahan. Daftar patut memperlihatkan perbezaan itu tanpa memerlukan pembaca membuat inferens daripada nada jawapan.

Cara grounding digunakan dalam komponen katalog

Dokumentasi Knowledge Base menerangkan pengambilan rekod yang digunakan sebagai bukti.

Halaman Parser menerangkan antara muka untuk memformat rekod yang diambil menjadi teks.

Rujukan Prompt Template menerangkan penyusunan permintaan daftar.

Entri output berstruktur menerangkan kontrak respons yang digunakan untuk menyatakan medan yang boleh disemak.

Untuk daftar ini, medan aplikasi yang dicadangkan ialah claim, source_ids, excerpt, decision dan reason. Wajibkan kedua-dua S-A dan S-B bagi dakwaan bilangan terbitan. Sebab patut menamakan operasi atau syarat yang mengehadkan dakwaan yang menghubungkan sumber dengan dakwaan, bukannya mengulang “disokong” dengan lebih banyak perkataan. Ini ialah medan yang direka oleh penulis, bukan format import skema terbina dalam.

Terima pernyataan tentang perbezaan bilangan hanya selepas menyemak bahawa bilangan yang dipetik berkaitan dengan penghantaran dan peringkat yang sama. Tolak penjelasan bahawa pengangkut kehilangan peti sehingga dapatan siasatan berasingan menyokongnya. Ini menjadikan keputusan semakan jelas: petikan rujukan tambahan kepada S-C tidak boleh membetulkan dakwaan itu kerana S-C melaporkan status siasatan, bukan hasilnya.

didokumenkan dalam katalog; belum diuji dalam persekitaran pengeluaran oleh Ai Flowi

Semak komponen daftar dalam katalog komponen; semakan penghantaran dengan bantuan model memerlukan akaun dan maklumat pengesahan API yang anda bekalkan, dengan caj penjanaan luaran di luar langganan aliran kerja.

Batas semakan dan kesilapan lazim

Semak keputusan daftar terhadap petikan asal, termasuk bukti yang tidak lengkap, bercanggah dan tidak relevan. Model yang menulis jawapan serta daftar sokongannya sendiri boleh mengulangi kesilapannya dalam kedua-duanya. Kehadiran medan sebab bukan pengesahan bebas.

Jangan samakan skema yang sah dengan dakwaan fakta yang sah, atau menganggap pengecam sumber sebagai sokongan tanpa memeriksa petikan. Elakkan juga memberikan penalti kepada jawapan yang jujur menyatakan “tidak diketahui” apabila bukti tiada. Dalam semakan penghantaran, mengekalkan punca sebagai belum dikenal pasti lebih baik daripada mengemukakan tuduhan terhadap pengangkut sebagai dapatan.

Lihat halusinasi LLM untuk kategori kegagalan dan kejuruteraan prompt untuk reka bentuk tugas. Rujukan Agent dan pustaka kes penggunaan membincangkan komponen aplikasi. Grounding menjadikan dakwaan boleh diperiksa; ia tidak memperakui kebenaran sumber atau memberikan kebenaran untuk tindakan yang membawa kesan.