動画検索 AI：回答の前にクリップを検索する

動画検索 AI は、内容に関するクエリを使い、コレクションから候補のクリップを検索します。結果を確認できるように、クリップの識別情報と範囲を定め、動画とテキストの表現の組み合わせを検証してから、人が調べられる一覧を返します。見た目が似たクリップを検索できても、利用者の質問への回答が確定するわけではありません。

このガイドは、利用許可のある小規模な動画ライブラリの検索を設計します。セマンティック検索の説明は意味に基づく照合を扱います。ここではさらに、識別可能な動画の区間を特定し、表現の互換性を確認します。

この検索の案は、設定例であり、実施したテストの記録ではありません。掲載したインターフェースはカタログに記載されていますが、マルチモーダル検索の一連の処理として、Ai Flowi による本番環境でのテストは未実施です。

1. 検索システムとは独立にクリップにラベルを付ける

処理と選んだサービスへの送信が許可された録画を用意します。AI Flowi Workflow、動画ファイル、自分の TwelveLabs のアカウントと API キー、適切な認証情報でアクセスできる OpenSearch サービスが必要です。埋め込み提供元の利用料と外部サービスの料金は別途請求されます。接続リファレンスで、認証情報を扱う範囲を説明しています。

分割する前に、原本の ID と版を割り当てます。クリップごとに、一意のクリップ ID、親となる原本の ID、開始と終了の境界、利用許可の範囲、独立に確認した内容ラベルを保持します。これらは自分で管理するメタデータ項目の案です。カタログには、自動タイムスタンプやクリップ結果のスキーマは宣言されていません。

3 つのラベルを付けた練習用ライブラリを作成します。CLIP-A は、印のある作業台にトレーを置く映像です。CLIP-B では「印のある作業台」という発言がありますが、トレーは棚の横に置かれたままです。CLIP-C はラベルプリンターについて話し、トレーの移動はありません。ラベルは評価の基準を示すもので、インデックス済みのメディアや実際に観測した検索結果ではありません。

2. インデックスの作成前に分割を確認する

カタログでは Split Video を次のように説明しています：動画を、指定した長さの複数のクリップに分割します。最後の区間の選択肢は、"Truncate"、"Overlap Previous"と"Keep Short"です。これらのラベルからは、境界での正確な動作は分かりません。保持される内容の量を推測せず、生成されたクリップを確認してください。

クリップ設定の表が画面より広い場合は、その領域の中をスクロールするか、フォーカスして矢印キーを使ってください。

Video File の設定と、メディアを Table から Data/JSON へ渡す手順は、動画解析の読み込み手順を参照してください。

Split Video のエクスポートには、長さの単位や受け付ける範囲が示されていません。そのため、選んだ整数が秒数の設定だとは確認されていません。トレーを置く例で有効な区間には、作業台に置いたのか、横を通っただけなのかを区別できるだけの、接近と着地の映像が必要です。動作が指定した境界をまたぐ場合は、隣接する区間も確認します。

決定的な動作が末尾にある架空の原本を使い、最後の区間の 3 つの選択肢をすべて比較します。その動作が保持されるか、複数のクリップに現れるかを記録します。重複する結果が同じ出来事を指す場合は、確認時に原本と出来事の範囲ごとにまとめます。元メディアを含める設定を有効にすると、区間単位の結果とともに原本全体の結果が出る可能性もあるため、実際の効果を確かめます。

3. 共通の表現空間を確認する

これらのポートは埋め込みモデルへの接続を提供します。すでに計算済みのクリップベクトルの一覧は文書化されておらず、動画埋め込みコンポーネントに明示的なメディア入力もありません。選択肢の文字列が共通しているだけでは、設定した保存先がこのクリップを取り込み、その表現をテキストクエリと比較できるとは証明できません。

表現の互換性とモデル変更の一般的な規則は、テキスト埋め込みを参照してください。

この動画コレクションでは、CLIP-A の 1 レコードをメディア参照から取り込みリクエストまで追い、その後、トレーを置く場面についての質問をテキストクエリのリクエストまで追います。各リクエストが実際にどの設定済み埋め込み接続を使うかを記録します。人が書いたクリップのラベルだけを検索するテキストクエリでは、映像内容からの検索は確認できません。ラベルは評価用に残しますが、検索対象のレコードにも含まれるかを明らかにします。

対照となる CLIP-B のリクエストも同じ試行に含めます。ナレーションは作業台に言及しますが、見える動作はクエリの条件を満たしません。返されたメディアが置く動作を映しているのか、発言の語が共通しているだけなのかを確認します。これにより、特定のスコアや提供元の順位を仮定せずに、質問の視覚的な条件とテキストだけの一致を区別します。

4. 検索用の保存先との受け渡しを設定する

カタログには OpenSearch (Multi-Model Multi-Embedding) が記載されています。opensearch_url、index_nameと、サービスが対応する認証方式を設定します。記載されたauth_modeの選択肢は、"basic"と"jwt"です。該当する認証情報は非公開で指定します。利用環境に応じて、use_sslとverify_certsを確認してください。

ingest_dataは Data、DataFrame、Table を受け付けます。docs_metadataは Data または JSON を受け付けます。したがって、Split Video の JSON の結果から、ingest_dataへの直接接続は文書化されていません。保存先が求める表現を特定し、準備したクリップのレコードを確認して、検索で識別情報とメディアの場所が保持されることを検証します。

保存先には、Embeddings を受け付けるembedding入力が 1 つあり、さらにembedding_model_nameとvector_fieldがあります。このエクスポートでは、動画の取り込み用とテキストクエリ用のモデルを別々に同時接続する方法は確認されていません。一連の処理の成功を述べる前に、条件を管理した実際の設定で、この互換性の問題を解決します。

クエリの試行では、search_query、選んだnumber_of_results、独立に検証したfilter_expressionを設定します。出力のsearch_resultsを Table として、raw_searchを JSON として確認します。どちらの出力にも、固定のスコア尺度、クリップ ID のキー、タイムスタンプのスキーマは宣言されていません。

5. 候補の一覧を返して関連性を確認する

発言の完全一致検索には、別途確認した文字起こしのインデックスが必要な場合があります。この設定は、音声の語句を完全一致で検索する機能を証明するものではありません。比較用の課題として保持します。実際に返された候補ごとに、原本とクリップの ID、確認した境界、クエリ、返された順位、人による関連性の判断を記録します。生のスコアはレスポンスに含まれる場合だけ保持し、その設定の情報も添えます。

ラベルが関連しているように見えても、アクセスできないクリップや版が違うクリップは不採用にします。元の結果の根拠を削除せず、同じ出来事の重複した表示を確認一覧でまとめます。関連するクリップが見つからない場合は、回答生成を追加する前に、取り込みとクエリの表現を調べます。

動画検索AIの検索の制限と回答への受け渡しは何ですか？

この案を、本人確認、出来事の網羅的な検索、セキュリティ監視システムに使わないでください。検索のベンチマーク、校正されたスコアのしきい値、利用許可フィルターの強制は、ここでは確認されていません。メタデータの利用許可ラベルは、アクセス制御が検証されるまでは説明にすぎません。

アクセスできる関連クリップを選んだら、映像を対象とした動画解析で、質問と根拠を別途確認します。検索結果と最終的な回答は、別々の成果物として保持します。

プラン：Goは年払いで月額USD8から（月払いUSD10）、Plusは月額USD16から（月払いUSD20）、Pro 100は月額USD80から（月払いUSD100）、Pro 200は月額USD160から（月払いUSD200）、Pro 500は月額USD400から（月払いUSD500）。毎月5,000～250,000 Flowi Tokensが含まれ、追加購入も可能です。ノード実行1回につき1トークン。サードパーティのAPIとモデルの利用料金は含まれません。

実際の実行記録を使い、分割、表現の準備、取り込み、クエリの試行の費用を別々に見積もります。このページが示すのは、検索の承認基準と設定上の未解決点です。マルチモーダルの一連の処理を正常に実行したという主張はありません。

執筆：Ai Flowi · 公開日2026-10-11。