Carian video dengan AI: dapatkan klip sebelum menjawab
Carian video dengan AI mendapatkan klip calon daripada koleksi menggunakan pertanyaan tentang kandungannya. Untuk menjadikan hasil tersebut boleh disemak, tetapkan identiti dan sempadan klip, sahkan padanan perwakilan video/teks, kemudian kembalikan senarai yang boleh diperiksa oleh seseorang. Mendapatkan klip yang serupa secara visual tidak membuktikan jawapan kepada soalan pengguna.
Panduan ini mereka bentuk pengambilan daripada koleksi video kecil yang aksesnya tertakluk pada kebenaran. Penerangan carian semantik menerangkan padanan berdasarkan makna; di sini, tugas tambahannya ialah mencari segmen video yang boleh dikenal pasti dan menyemak keserasian perwakilan.
Cadangan pengambilan ini ialah contoh konfigurasi, bukan ujian yang direkodkan. Antara muka yang disenaraikan didokumentasikan dalam katalog; belum diuji dalam persekitaran pengeluaran oleh Ai Flowi sebagai rantaian carian multimodal gabungan.
1. Labelkan klip secara bebas daripada sistem carian
Mulakan dengan rakaman yang anda dibenarkan proses dan hantar kepada perkhidmatan yang dipilih. Anda memerlukan AI Flowi Workflow, fail video, akaun/kunci API TwelveLabs sendiri dan perkhidmatan OpenSearch yang boleh diakses dengan kelayakan akses yang sesuai. Penggunaan penyedia pembenaman dan kos perkhidmatan luaran dibilkan secara berasingan. Rujukan sambungan menerangkan sempadan kelayakan akses.
Tetapkan ID sumber dan semakan versi sebelum pembahagian segmen. Untuk setiap klip, simpan ID klip unik, ID sumber induk, sempadan mula dan akhir, skop kebenaran dan label kandungan yang disemak secara bebas. Semua ini ialah medan metadata yang dicadangkan dan anda selenggarakan sendiri; katalog tidak mengisytiharkan cap masa automatik atau skema hasil klip.
Gunakan koleksi latihan rekaan dengan tiga label: CLIP-A menunjukkan dulang diletakkan di atas bangku bertanda; CLIP-B mengandungi pertuturan yang menyebut “bangku bertanda” sedangkan dulang kekal di sebelah rak; CLIP-C membincangkan pencetak label tanpa pergerakan dulang. Label ini menetapkan sasaran penilaian, bukan media yang telah diindeks atau hasil carian yang diperhatikan.
2. Periksa pembahagian segmen sebelum pengindeksan
Penerangan Split Video dalam katalog ialah Bahagikan video kepada beberapa klip dengan tempoh yang ditetapkan.
Pilihan segmen akhirnya ialah "Truncate", "Overlap Previous" dan "Keep Short". Tingkah laku sempadan yang tepat tidak didokumentasikan oleh label tersebut; periksa klip yang dijana tanpa membuat andaian tentang jumlah kandungan yang dikekalkan.
Jika jadual tetapan klip lebih lebar daripada skrin anda, tatal dalam kawasan itu atau fokuskan kawasan tersebut dan gunakan kekunci anak panah.
| Komponen | Konfigurasi yang dipilih | Semakan yang diperlukan |
|---|---|---|
| Split Video | videodata: Data/JSON yang diperiksa; clip_duration: nilai percubaan yang dipilih; last_clip_handling: mulakan dengan "Keep Short"; include_original: false. | clips mengembalikan JSON. Semak setiap sempadan, khususnya tindakan terakhir dan bahagian akhir yang pendek. |
Gunakan langkah pemuatan analisis video untuk konfigurasi Video File dan penyerahan media daripada Table kepada Data/JSON.
Eksport Split Video tidak menyatakan unit tempoh atau had yang diterima, maka integer yang dipilih bukan tetapan saat yang disahkan. Untuk contoh peletakan dulang, segmen yang boleh digunakan mesti menunjukkan pergerakan menghampiri dan peletakan yang mencukupi untuk membezakan peletakan di atas bangku daripada lalu di sebelahnya. Semak segmen bersebelahan apabila tindakan melintasi sempadan yang dicadangkan.
Bandingkan ketiga-tiga pilihan segmen akhir pada sumber sintetik yang tindakan penentunya berlaku di penghujung. Catat sama ada tindakan itu dikekalkan dan sama ada ia muncul dalam lebih daripada satu klip. Jika hasil bertindih merujuk kepada peristiwa yang sama, kumpulkannya mengikut sumber dan julat peristiwa semasa semakan. Mengaktifkan penyertaan media asal juga boleh menghasilkan hasil peringkat sumber bersama hasil peringkat segmen; sahkan kesan sebenarnya.
3. Semak ruang perwakilan bersama
| Komponen | Input untuk dikonfigurasi | Output yang tersedia |
|---|---|---|
| TwelveLabs Video Embeddings | Input wajib api_key; pilihan model_name yang disenaraikan "Marengo-retrieval-2.7"; input integer pilihan request_timeout. | embeddings: Embeddings. |
| TwelveLabs Text Embeddings | Input wajib api_key; pilihan model yang disenaraikan "Marengo-retrieval-2.7"; input pilihan max_retries dan input jenis titik terapung request_timeout. | embeddings: Embeddings. |
Port ini menyediakan sambungan model pembenaman. Ia tidak menyediakan senarai vektor klip yang telah dikira dan didokumentasikan, atau input media yang jelas pada komponen pembenaman video. Teks pemilih yang sama sahaja tidak membuktikan bahawa stor yang dikonfigurasikan boleh memasukkan klip ini dan membandingkan perwakilannya dengan pertanyaan teks.
Gunakan pembenaman teks untuk peraturan umum tentang keserasian perwakilan dan perubahan model.
Untuk koleksi video ini, jejak satu rekod CLIP-A daripada rujukan medianya ke permintaan kemasukan data, kemudian jejak soalan peletakan dulang ke permintaan pertanyaan teks. Catat sambungan pembenaman yang dikonfigurasikan dan benar-benar digunakan oleh setiap permintaan. Pertanyaan teks yang hanya mencari label klip tulisan manusia tidak membuktikan pengambilan berdasarkan kandungan visual: pastikan label tersedia untuk penilaian, tetapi kenal pasti sama ada label itu turut dimasukkan dalam rekod yang boleh dicari.
Jadikan permintaan CLIP-B yang berbeza itu sebahagian daripada percubaan yang sama. Narasinya menyebut bangku, sedangkan tindakan yang kelihatan tidak memenuhi pertanyaan. Semak sama ada media yang dikembalikan menunjukkan peletakan atau hanya berkongsi kata-kata yang diucapkan. Ini membezakan keperluan visual soalan daripada padanan teks sahaja tanpa mengandaikan skor atau kedudukan penyedia tertentu.
4. Konfigurasikan sempadan stor carian
Katalog komponen menyenaraikan OpenSearch (Multi-Model Multi-Embedding). Tetapkan opensearch_url, index_name dan mod pengesahan yang disokong oleh perkhidmatan anda. Pilihan auth_mode yang disenaraikan ialah "basic" dan "jwt". Bekalkan kelayakan akses yang berkenaan secara peribadi; semak use_ssl dan verify_certs untuk pelaksanaan anda.
ingest_data menerima Data, DataFrame atau Table; docs_metadata menerima Data atau JSON. Oleh itu, hasil JSON Split Video bukan sambungan terus yang didokumentasikan kepada ingest_data. Tentukan perwakilan yang dijangka oleh stor, periksa rekod klip yang disediakan dan sahkan bahawa pengambilan mengekalkan identiti serta lokasi medianya.
Stor menyediakan satu input embedding yang menerima Embeddings, bersama embedding_model_name dan vector_field. Eksport ini tidak mengesahkan cara menyambungkan model berasingan bagi kemasukan video dan pertanyaan teks secara serentak. Selesaikan sempadan keserasian itu dalam konfigurasi terkawal yang sebenar sebelum menerangkan rantaian yang berjaya.
Untuk percubaan pertanyaan, tetapkan search_query, nilai pilihan number_of_results dan sebarang nilai yang disahkan secara bebas bagi filter_expression. Periksa search_results sebagai Table dan raw_search sebagai JSON. Kedua-dua output tidak mengisytiharkan skala skor tetap, kunci ID klip atau skema cap masa.
5. Kembalikan senarai calon dan periksa kaitannya
| Pertanyaan | Sasaran semakan yang dikehendaki | Kegagalan yang perlu dikesan |
|---|---|---|
| Cari frasa yang diucapkan “bangku bertanda”. | Segmen yang mengandungi frasa tepat yang diucapkan itu, disemak berdasarkan audio atau transkrip. | Padanan visual tanpa pertuturan yang sepadan. |
| Cari dulang yang diletakkan di atas bangku bertanda. | CLIP-A berdasarkan label visual yang disediakan. | CLIP-B, yang pertuturannya menyebut bangku tanpa tindakan yang diminta. |
| Cari dulang yang dibawa ke luar. | Tiada klip yang berkaitan dalam koleksi rekaan ini. | Padanan yakin yang hanya berdasarkan kehadiran dulang. |
Pengambilan kata-kata yang diucapkan secara tepat mungkin memerlukan indeks transkrip yang disemak secara berasingan; konfigurasi ini tidak membuktikan keupayaan carian frasa audio tepat. Kekalkannya sebagai tugas perbandingan. Untuk setiap calon sebenar yang dikembalikan, catat ID sumber dan klip, sempadan yang disemak, pertanyaan, kedudukan yang dikembalikan dan keputusan manusia tentang kaitannya. Simpan skor mentah hanya jika respons membekalkannya, bersama konteks konfigurasinya.
Tolak klip yang tidak boleh diakses atau mempunyai semakan versi yang salah walaupun labelnya kelihatan berkaitan. Gabungkan paparan pendua peristiwa yang sama dalam senarai semakan tanpa memadam bukti hasil asal. Jika klip yang berkaitan tiada, siasat kemasukan data dan perwakilan pertanyaan sebelum menambah penjanaan jawapan.
Apakah had pengambilan carian video AI dan penyerahan untuk pemberian jawapan?
Jangan gunakan cadangan ini sebagai semakan identiti, carian peristiwa menyeluruh atau sistem pemantauan keselamatan. Tiada penanda aras pengambilan, ambang skor yang ditentukur atau penguatkuasaan penapis kebenaran disahkan di sini. Label kebenaran metadata hanya bersifat deskriptif sehingga kawalan akses disahkan.
Selepas memilih klip berkaitan yang boleh diakses, gunakan analisis visual video untuk semakan soalan dan bukti yang berasingan. Simpan hasil carian dan jawapan akhirnya sebagai artifak berbeza.
Pelan: Go dari USD8/bulan dengan bil tahunan (USD10 bulanan), Plus dari USD16 (USD20 bulanan), Pro 100 dari USD80 (USD100 bulanan), Pro 200 dari USD160 (USD200 bulanan) dan Pro 500 dari USD400 (USD500 bulanan), dengan 5,000 hingga 250,000 Flowi Tokens sebulan dan pilihan tambah nilai; 1 token bagi setiap pelaksanaan nod; penggunaan API dan model pihak ketiga tidak termasuk.
Anggarkan penggunaan bagi pembahagian segmen, penyediaan perwakilan, kemasukan data dan percubaan pertanyaan secara berasingan berdasarkan rekod pelaksanaan sebenar. Halaman ini membekalkan kriteria penerimaan pengambilan dan jurang konfigurasi, tanpa mendakwa saluran pemprosesan multimodal telah berjaya dilaksanakan.
Oleh Ai Flowi · Diterbitkan .