vector database (pangkalan data vektor)
vector database menyimpan perwakilan vektor bagi item dan menyokong carian vektor berdekatan berdasarkan ukuran keserupaan atau jarak yang dipilih. Bagi teks, vektor tersebut lazimnya dihasilkan oleh model pembenaman. Carian memulangkan rekod calon yang berkaitan dengan perwakilan pertanyaan; ia tidak membuktikan bahawa kandungannya benar atau menjawab soalan.
Oleh Ai Flowi · Diterbitkan
Vektor ialah perwakilan untuk carian, manakala rekod yang dikaitkan dengannya membawa bahan berguna seperti petikan, pengecam dokumen dan metadata. Mengekalkan kaitan itu amat penting: senarai nombor berdekatan tanpa kandungan asal bukan sumber bukti yang boleh digunakan oleh aplikasi yang menjawab soalan berasaskan dokumen.
Berkaitan: Integrasi MongoDB Atlas dengan AI untuk carian vektor.
Apakah perbezaan antara penyimpanan vektor dengan penyimpanan rekod biasa?
Carian rekod biasa boleh mencari dasar berdasarkan pengecam yang tepat. Pertanyaan vektor boleh mencari petikan yang berkaitan dengan frasa seperti “bolehkah saya membawa peralatan keluar dari premis?” walaupun dokumen menggunakan ungkapan yang berbeza. Operasi ini menjawab soalan yang berbeza dan boleh wujud bersama dalam aplikasi yang sama.
Pengecam tepat, kebenaran akses dan versi dokumen semasa masih perlu dikendalikan secara jelas. Dasar jabatan lain yang berkaitan dari segi makna tidak semestinya terpakai. Pangkalan data vektor tidak menghapuskan keperluan untuk penapisan biasa atau pemilihan rekod berautoriti.
Entri pembenaman teks menerangkan cara teks menjadi perwakilan. Carian semantik membincangkan masalah kerelevanan. Entri ini menumpukan penyimpanan perwakilan tersebut dan pengambilan rekod yang dikaitkan dengannya.
Pemasukan data, pengindeksan dan pertanyaan
Semasa pemasukan data, aplikasi memilih bahan sumber, menyediakan item untuk disimpan dan mendapatkan vektor daripada model pembenaman. Ia mengekalkan padanan antara setiap vektor dengan rekod sumber. Indeks ialah struktur carian pangkalan data untuk mencari calon tanpa menganggap setiap pertanyaan sebagai carian teks tepat.
Semasa pertanyaan, aplikasi mewakili soalan dalam ruang pembenaman yang serasi dan meminta stor memulangkan rekod berdekatan. Ukuran yang dipilih menentukan cara kedekatan dinilai. Hasil pengambilan perlu merangkumi kandungan berkaitan dan maklumat asal usul yang mencukupi untuk peringkat seterusnya menilai kerelevanan.
Sesetengah sistem menggunakan teknik jiran terdekat anggaran untuk mengurangkan kerja carian; yang lain menyokong perbandingan tepat atau beberapa pilihan indeks. Katalog di sini tidak mengenal pasti algoritma indeks tertentu, kompromi ketepatan atau had skala. Jangan simpulkan sifat tersebut daripada label umum “stor vektor”.
Mengemas kini dokumen bermakna memastikan perwakilan tersimpan dan kaitan sumbernya konsisten. Jika tidak, carian boleh memulangkan vektor yang berasal daripada teks lama sedangkan aplikasi memaparkan rekod yang lebih baharu. Perubahan model juga boleh memerlukan penjanaan semula vektor tersimpan; dimensi yang serasi sahaja tidak membuktikan makna yang serasi.
Contoh kecil carian dokumen
Bayangkan pustaka penyelenggaraan sintetik yang mengandungi arahan pam asal, arahan yang disemak dan nota penyelesaian masalah yang ditarik balik. Persoalan penyimpanannya ialah cara menjejak petikan yang dipulangkan kepada versi yang menghasilkan vektornya. Fail semasa pada cakera tidak membuktikan bahawa setiap rekod yang boleh dicari mencerminkannya.
| Item tersimpan | Maklumat berkaitan | Semakan pengambilan |
|---|---|---|
| Arahan pam asal | Pengecam petikan dan semakan asal. | Adakah rekod ini telah dikeluarkan daripada penggunaan selepas semakan? |
| Arahan pam yang disemak | Teks yang dikemas kini dan kaitan dengan semakan. | Adakah petikan yang dipulangkan sepadan dengan sumber yang disemak? |
| Nota penyelesaian masalah yang ditarik balik | Pengecam sumber dan rekod penarikan balik. | Adakah ia tiada dalam set aktif yang boleh dicari? |
Ini ialah contoh pemeriksaan kitaran hayat sumber, tanpa sebarang operasi pangkalan data atau kedudukan carian yang diukur. Menemukan arahan yang disemak hanyalah satu semakan; rekod asal dan rekod yang ditarik balik juga perlu diperiksa. Carian yang memulangkan petikan baharu di kedudukan pertama masih boleh membiarkan petikan lapuk tersedia untuk pertanyaan lain.
Chroma DB dalam katalog AI Flowi Workflow
Gunakan rujukan integrasi Chroma untuk pemasukan data, carian, penyimpanan berterusan, medan sambungan dan port hasil Chroma DB.
Penjelasan perwakilan membezakan vektor yang dijana daripada sambungan model pembenaman.
Untuk penyimpanan, kekalkan rekod kaitan sumber yang mengandungi identiti dokumen, identiti petikan dan semakan yang digunakan untuk mencipta setiap item yang boleh dicari. Ini ialah cadangan medan pencatatan, bukannya dakwaan tentang skema Chroma. Apabila petikan berubah, rekod itu membolehkan anda mengenal pasti perwakilan yang perlu diganti. Tanpanya, fail sumber semasa dan petikan lama yang diindeks boleh wujud bersama tanpa cara yang jelas untuk menjejak ketidakpadanan.
Semakan pembinaan semula perlu membandingkan inventori sumber yang dimaksudkan dengan item diketahui yang benar-benar dipulangkan oleh koleksi. Pertanyaan sahaja tidak boleh membuktikan bahawa entri lapuk telah dipadamkan, maka sahkan pemadaman melalui kaedah pemeriksaan yang didokumenkan bagi stor yang dikonfigurasi. Katalog tidak menyediakan kaedah itu atau menjanjikan penggantian atomik; kekalkan inventori sumber asal sehingga koleksi baharu telah disemak.
didokumenkan dalam katalog; belum diuji dalam persekitaran pengeluaran oleh Ai Flowi
Cari Chroma DB dalam katalog komponen; rujukan integrasi menerangkan persediaan penggunaan, manakala sambungan model menerangkan akaun/kunci API penyedia pembenaman anda sendiri dan caj pembenaman yang berasingan.
Keputusan pengeluaran daripada penggunaan dan pembinaan semula pustaka pam
Arahan pam asal, penggantinya dan nota penyelesaian masalah yang ditarik balik memerlukan keputusan kitaran hayat yang berbeza. Mengeluarkan arahan asal daripada penggunaan perlu menghentikan penyertaannya dalam carian semasa sambil mengekalkan identitinya dalam sejarah sumber. Pengganti perlu merujuk kepada teks yang dipinda. Penarikan balik perlu mengeluarkan nota penyelesaian masalah daripada set yang layak walaupun tiada nota pengganti.
Kekalkan inventori yang dimaksudkan bersama pemeriksaan stor: semakan sumber yang tergolong dalam pustaka aktif, yang telah digantikan dan yang ditarik balik. Ini ialah cadangan rekod semakan dan bukannya skema pangkalan data yang ditakrifkan oleh katalog. Ia memberikan sasaran konkrit untuk dihasilkan semula melalui pembinaan semula. Membandingkan bilangan item tersimpan sahaja boleh terlepas arahan lapuk yang ditukar dengan petikan yang tidak berkaitan.
Pustaka yang dibina semula sebahagiannya boleh mengandungi arahan pam yang disemak tetapi masih kekurangan petikan lain yang dimaksudkan daripada sumber itu. Semak liputan sumber dan kaitan dengan semakan secara serentak. Sebaliknya, set petikan yang lengkap tetapi dikaitkan dengan semakan yang salah tetap tidak konsisten. Kejayaan mengambil satu perenggan yang dipinda tidak menyelesaikan mana-mana persoalan tersebut.
Jika perubahan model pembenaman mendorong pembinaan semula, anggap vektor tersimpan dan perwakilan pertanyaannya sebagai satu set yang berpadanan. Pastikan set terdahulu masih dapat dikenal pasti sehingga penggantinya telah disemak; jika tidak, perubahan yang gagal boleh menyebabkan tiada koleksi yang jelas untuk dipulihkan. Inventori sumber membekalkan input pembinaan semula, manakala konfigurasi pembenaman menerangkan cara input itu menjadi perwakilan yang boleh dicari.
Gunakan kemudahan pemeriksaan stor yang dikonfigurasi untuk menyemak bahawa bahan pam yang dikeluarkan daripada penggunaan tidak lagi layak, dan jangan simpulkan pemadaman hanya kerana ia tiada dalam satu senarai hasil. Untuk pemarkahan kerelevanan selepas semakan kitaran hayat ini, rujuk penilaian RAG.
Kesilapan lazim dan bacaan berkaitan
Jangan anggap kedekatan vektor sebagai semakan fakta, nama koleksi sebagai kebenaran pengguna, atau tetapan penyimpanan berterusan sebagai dasar sandaran. Gunakan pertanyaan rekod tepat bagi pengecam tepat apabila itulah tugas sebenar. Bantuan dokumen berasaskan carian memerlukan semakan kerelevanan sebelum sebarang penjelasan dijana.
Panduan pangkalan pengetahuan menerangkan persediaan produk sedia ada dan bukannya konsep penyimpanan ini. Ikuti kejuruteraan konteks untuk memilih petikan yang diambil dan kejuruteraan arahan untuk membentuk tugas menjawab. Kontrak Agent dan kes penggunaan menerangkan lapisan aplikasi lain; pangkalan data vektor sendiri tidak menjana respons.