RAG reranking: susun semula kedudukan petikan
Oleh Ai Flowi · Diterbitkan
Sumber rasmi: dokumentasi Cohere Rerank
RAG reranking menyusun semula kedudukan petikan calon yang diperoleh untuk sesuatu soalan sebelum anda memilih bukti yang dihantar kepada model bahasa. Carian semula menemukan calon; penyusun semula kedudukan menilai kerelevanannya terhadap pertanyaan tertentu itu. Ia boleh mengubah petikan yang sampai ke prompt jawapan, tetapi tidak boleh mendapatkan semula bukti yang tiada dalam set calon.
Panduan ini mencadangkan peringkat Cohere Rerank dalam AI Flowi Workflow dan perbandingan terkawal. Komponen itu didokumenkan dalam katalog; belum diuji dalam produksi oleh Ai Flowi. Tiada peningkatan kedudukan, hasil kependaman atau penukaran format dokumen yang berjaya direkodkan bagi reka bentuk gabungan ini.
1. Semak garis dasar carian semula dahulu
Gunakan Knowledge Base yang telah diisi dan soalan dengan petikan sokongan berlabel. Tetapkan knowledge_base, search_query dan top_k, dengan include_metadata diaktifkan. Simpan Results sebelum penyusunan semula kedudukan. Jika petikan yang diperlukan tidak pernah muncul, semak semula korpus atau pertanyaan carian dan jangan anggap masalahnya berpunca daripada susunan bukti.
Panduan pangkalan pengetahuan merangkumi penyediaan dan pemeriksaan kandungan yang boleh dicari. Di sini, tumpukan pada senarai calon bagi setiap soalan: teks petikan, pengecam sumber, versi dan susunan asal. Simpan butiran itu bersama-sama. Membuang metadata untuk memudahkan penukaran menyukarkan pengesahan sama ada jawapan akhirnya menggunakan sumber yang terpakai.
2. Sediakan akaun penyusun semula kedudukan dan format calon
Anda memerlukan akaun Cohere dan kunci API sendiri untuk Cohere Rerank, serta kelayakan akses yang sudah diperlukan oleh penyedia carian semula dan model anda. Huraian katalog ialah Susun semula kedudukan dokumen menggunakan API Cohere. Ia menyenaraikan input model, search_query, search_results, top_n dan api_key.
Rujuk rujukan Type Convert untuk sempadan penukaran jadual calon sebelum mengkonfigurasi percubaan JSON di bawah.
Pastikan setiap calon boleh dibezakan sebelum penukaran: teks petikan berulang daripada versi berbeza mesti mengekalkan identiti yang berasingan. Bandingkan koleksi calon selepas penukaran dengan senarai asal, termasuk susunan dan bilangannya. Jika dua sumber digabungkan menjadi satu entri teks, berhenti sebelum menyusun kedudukan; kedudukan kemudian tidak dapat menunjukkan sumber yang hilang. Eksport tidak menetapkan skema dokumen yang diperlukan oleh penyusun semula kedudukan, jadi nilai JSON yang sah sahaja tidak memadai.
3. Tetapkan bilangan calon dan bilangan bukti terpilih
Persediaan pemilihan calon: contoh konfigurasi, bukan ujian yang direkodkan
| Komponen | Input katalog untuk ditetapkan | Semakan sebelum meneruskan |
|---|---|---|
| Knowledge Base | top_k: 8; include_metadata: true; search_query: soalan ujian yang lengkap. | Lapan ialah bilangan hasil carian semula untuk contoh, bukan nilai lalai yang disyorkan. |
| Type Convert | input_data: Table calon; output_type: "JSON". | Semak data_output untuk teks petikan dan pengecam yang dikekalkan; susun atur dokumen tidak dieksport. |
| Cohere Rerank | search_results: JSON calon yang disahkan; search_query: soalan yang sama; top_n: 3; model: pilihan yang disokong dan dikonfigurasi. | Semak reranked_documents; tiga ialah bilangan pemilihan untuk percubaan, bukan dakwaan kualiti. |
| Parser | input_data: JSON selepas penyusunan semula kedudukan; pattern: format bukti yang disahkan dalam editor; mode: "Parser". | Sahkan teks terpilih kekal dikaitkan dengan sumbernya. |
| Prompt Template | template: soalan bersama bukti terpilih dan arahan supaya jawapan berasaskan bukti. | Semak pengikatan dinamik dan prompt akhir sebelum panggilan model. |
Eksport menyertakan nama model seperti "rerank-english-v3.0" dan "rerank-multilingual-v3.0". Itu ialah pilihan dalam katalog, bukan dakwaan tentang ketersediaan semasa penyedia. Sahkan model terpilih melalui akaun dan editor anda. Jangan anggap medan api_key yang ditandai sebagai pilihan bermaksud perkhidmatan luaran berfungsi tanpa pengesahan.
4. Kekalkan identiti sepanjang penukaran dan penyusunan kedudukan
Semak sama ada teks calon, pengecam dan versi dikekalkan melalui Type Convert. Kemudian semak Cohere Rerank.reranked_documents, yang bertip JSON. Katalog tidak menyenaraikan medan bersarang, skala skor atau pemetaan kembali kepada calon asal. Tetapkan pemetaan itu daripada output sintetik sebenar. Jangan andaikan medan bernama index, text atau score akan tersedia.
Bagi setiap dokumen terpilih, penyemak sepatutnya dapat mencari calon asal dan petikan sumbernya. Rujukan sumber jawapan tidak dapat dibina semula dengan selamat berdasarkan kedudukan baharu sahaja. Jika hasil tidak menyertakan metadata, simpan senarai calon asal dan sahkan peraturan padanan yang jelas sebelum penjanaan jawapan. Elakkan padanan berdasarkan teks petikan yang dipendekkan sahaja kerana perenggan berulang boleh mempunyai teks yang sama.
Rujukan Parser mendokumenkan input dan mengenal pasti tatabahasa pemegang tempat yang belum tersedia; sahkan sintaks pemformatan dalam editor.
5. Bandingkan susunan tanpa mengubah korpus
Kekalkan soalan, dokumen berindeks, bilangan calon dan arahan jawapan. Simpan susunan calon garis dasar dan pemilihan selepas penyusunan semula kedudukan bagi setiap kes. Pastikan petikan berlabel dan sebarang pengecualian yang diperlukan kekal dalam bukti terpilih. Petikan pertama yang lebih relevan masih tidak memadai jika petikan pelengkap yang diperlukan untuk menjawab soalan telah dibuang.
| Perubahan terkawal | Pemerhatian pemilihan | Tafsiran |
|---|---|---|
| Ubah susunan senarai calon yang sama | Bandingkan identiti sumber terpilih dengan percubaan susunan asal. | Perubahan yang sensitif terhadap susunan perlu disemak sebelum dikaitkan dengan kerelevanan. |
| Kurangkan top_n sambil mengekalkan calon | Kenal pasti petikan sokongan diperlukan yang pertama dikecualikan. | Bilangan terpilih mungkin terlalu kecil untuk soalan ini. |
| Dua calon mempunyai teks yang sama tetapi versi berbeza | Cari setiap pilihan dalam senarai sumber asal. | Padanan berdasarkan teks sahaja tidak dapat menentukan identiti sumber. |
| Bekalkan calon yang lebih sedikit daripada bilangan pemilihan yang diminta | Rekodkan bilangan sebenar dan sebarang ralat penyedia. | Jangan andaikan tingkah laku bilangan atau penambahan entri yang tidak didokumenkan. |
Sebagai latihan pemilihan, labelkan satu calon sebagai arahan utama dan satu lagi sebagai syarat kelayakannya. Jika pemilihan yang diminta hanya memberi ruang untuk satu calon, arahan yang sangat relevan masih boleh menghasilkan bukti yang tidak lengkap. Bandingkan pengecualian itu dengan pemilihan yang lebih besar daripada calon yang sama. Ini mengasingkan had pemilihan daripada liputan carian semula; menambah dokumen korpus baharu pada masa yang sama akan mengaburkan puncanya.
Gunakan penilaian RAG untuk mengasingkan liputan carian semula daripada asas bukti jawapan. Kira panggilan penyusun semula kedudukan yang gagal sebagai kegagalan operasi, bukan senarai dokumen relevan yang kosong. Jika anda memilih penggunaan garis dasar sebagai pilihan gantian, sahkan tingkah lakunya secara jelas; rantaian yang dicadangkan tidak mempunyai cabang pemulihan automatik yang didokumenkan.
6. Laraskan bilangan mengikut keperluan bukti
top_k digunakan untuk carian semula calon; top_n digunakan untuk pemilihan selepas penyusunan semula kedudukan. Kedua-duanya ialah tetapan berbeza. Membesarkan kumpulan calon tidak menambah konteks yang boleh digunakan secara automatik, dan memilih set kecil boleh mengecualikan fakta berkaitan. Ubah satu tetapan pada satu masa dan semak soalan berlabel yang sama untuk melihat tempat bukti hilang.
Untuk percubaan ini, pastikan bilangan pemilihan yang diminta tidak melebihi bilangan calon yang hendak anda bekalkan, dan semak bilangan sebenar yang dipulangkan. Eksport tidak mentakrifkan tingkah laku apabila calon yang tersedia lebih sedikit. Ia juga tidak memberikan had panjang dokumen atau peraturan pemprosesan kelompok penyedia. Jangan tukar butiran yang tidak tersedia itu menjadi cadangan saiz sejagat.
7. Adakah penyusunan semula kedudukan diperlukan dalam saluran RAG?
Jangan tambah penyusun semula kedudukan apabila carian semula tetap sudah memulangkan bukti yang diperlukan dalam susunan yang boleh disemak dan permintaan tambahan tidak menyelesaikan masalah yang diperhatikan. Ia memperkenalkan satu lagi panggilan penyedia dan titik kegagalan. Ia juga tidak sesuai menggantikan kebenaran dokumen, kawalan versi atau semakan berautoriti.
Penyusunan semula kedudukan berbeza daripada carian hibrid RAG, yang berkaitan cara isyarat calon digabungkan. Kedua-dua reka bentuk tidak membuktikan bahawa sesuatu jawapan betul. Simpan garis dasar supaya anda boleh melihat sama ada peringkat tambahan mengubah pemilihan bukti secara berguna dalam persekitaran anda, tanpa mendakwa peningkatan kualiti umum berdasarkan satu percubaan.
Kapasiti aliran kerja dan langkah seterusnya
Pelan dan kapasiti aliran kerja.Peruntukan Flowi Tokens bulanan ialah Go: 5,000; Plus: 25,000; Pro 100: 50,000; Pro 200: 100,000; Pro 500: 250,000. Pilih kapasiti yang sesuai dengan aliran kerja, alat yang disambungkan dan proses semakan anda. Tempah demo
Sertakan penukaran, pemilihan dan sebarang panggilan penyedia berulang dalam anggaran penggunaan anda. Bilangan dokumen yang diperoleh bukan unit yang sama dengan pelaksanaan nod aliran kerja atau penggunaan yang dicaj oleh penyedia.