動画解析 AI：文字起こしだけでは分からない視覚的な根拠

動画解析 AI は、クリップの映像内容を調べ、文字起こしでは説明されない動作について確認者が質問できるようにします。処理を許可された動画を用意し、解析するクリップを特定して、範囲を絞った質問をします。その後、回答を実際の映像と比較します。目に見える動作、発言、推測による説明を分けて扱います。

文字起こしからは、物を動かしている間に何を話したかは分かっても、物をどこへ移したかは分からない場合があります。YouTube 連携リファレンスは文字起こし、コメント、メタデータの取得を扱います。このガイドでは、提供された 1 本の練習用クリップについて、映像に関する主張を確認するシートを追加します。

提案する動画ワークフローは、設定例であり、実施したテストの記録ではありません。各コンポーネントはカタログに記載されていますが、このクリップ解析手順について、Ai Flowi による本番環境でのテストは未実施です。

1. 動画から答えられる質問を選ぶ

トレーを棚の横に置いたのか、棚の上に置いたのかなど、具体的で目に見える出来事について尋ねます。物の移動、人物の識別、意図、手順の遵守を 1 つの質問にまとめないでください。人がトレーを動かす映像から、移動や置いた位置は確認できる場合がありますが、人物の身元や感情、安全手順の全体が守られたかまでは確認できません。

架空の練習場面を使います。説明者が「トレーを印のある位置へ戻してください」と言いながら、棚の近くに置きます。この発言だけでは、最終的な位置は特定できません。映像に対する適切な質問は「トレーはどこに置かれ、印は見えていますか」です。この場面は作成した確認演習であり、実際の録画や提供元の回答があると主張するものではありません。

アップロード前に、録画の処理と選んだ提供元への送信が許可されていることを確認します。 AI Flowi Workflow、選んだ動画ファイル、TwelveLabs のアカウントと API キーを自分で用意します。 認証情報の扱いは、接続の説明を参照し、提供元とワークスペースがファイルを受け付けることを確認してから進みます。 参考資料： 接続の説明

2. 読み込み・インデックス作成・回答を分ける

カタログでは、TwelveLabs Pegasus Index Video を次のように説明しています：TwelveLabs で動画のインデックスを作成し、video_id をメタデータに追加します。TwelveLabs Pegasus は、TwelveLabs Pegasus API を使って動画についてチャットします。と説明されています。これらは出力が異なる別々の段階であり、インデックスの作成は質問への回答ではありません。

小さな画面では、動画確認用の表を横にスクロールできます。表の領域にフォーカスし、キーボードで残りの列を確認してください。

提案するクリップ確認で利用できるフィールド
コンポーネント必須設定と設定案出力と受け渡しの条件
Video Filefile_path：処理を許可された架空の練習用ファイルを選びます。dataframe：Table。メディアの場所を示す列は文書化されていません。
TwelveLabs Pegasus Index Videoapi_key：自分の提供元の認証情報。videodata：クリップを表す確認済みの Data/JSON。選んだindex_idまたはindex_nameを記録します。記載されたmodel_name: "pegasus1.2"。indexed_data：JSON。動画 ID の階層パスを仮定せず、返されたメタデータを確認します。
TwelveLabs Pegasusapi_keyとmessageは必須です。確認済みの質問、確定したvideo_id、該当するインデックス設定を指定します。エクスポートされたmodel_nameの選択肢は"pegasus1.2"。response：Message。processed_video_id：Message。どちらもフレーム座標やタイムスタンプのフィールドを宣言していません。

これらのモデル名はカタログの記録に含まれるもので、現在そのアカウントで提供元が受け付けることを示してはいません。回答ノードにはvideodataとtemperatureもありますが、既定値、サンプリングの範囲、品質保証はエクスポートに示されていません。利用するワークスペースで設定を選び、確認してください。

3. 質問を送る前に各受け渡しを確認する

  1. 選んだ原本を Video File で読み込み、Files Table を確認します。原本を識別するラベルと版を、自分の確認シートに記録します。
  2. インデックスの作成前に、Table から Data/JSON への受け渡しの問題を解決します。インデックス作成ノードのvideodataでは、受け付ける型に Table が記載されていません。対応するメディア参照を確認して準備する必要があり、ここでは直接接続は確認されていません。
  3. 提供元のキーと使用するインデックスを設定します。入力の構造を確認してから、条件を管理したインデックス作成の例を実行し、JSON の結果と関連する動画の識別情報を調べます。
  4. その確定した識別情報を質問の段階に渡します。JSON のメタデータオブジェクト自体は、video_idが受け付ける Message ではありません。この段階的な設計では、確認した ID をフィールドにコピーします。
  5. messageを「トレーの最後に見える位置を説明してください。印や置かれる面が隠れている場合は、そのことを示してください。観察した動作と発言による指示を分けてください」と設定します。
  6. 返された回答を読み、内容に関する主張を確認する前に、processed_video_idが意図したクリップを示していることを確かめます。

人による確認によって、ペイロード変換用の仕組みを新たに仮定せずに、このフローの案を確認可能にします。条件を管理した実行例でメディアの構造、インデックス作成の完了、識別子の対応が確認されるまでは、これらの確認が必要です。この手順について、カタログには準備完了のポーリングやインデックス作成の所要時間の仕様はありません。

4. 回答を目に見える根拠と照合する

クリップを見て、回答とは独立に確認シートを準備します。確認者が観察した位置や再生範囲は、メディアを確認してから記録します。以下の項目は作成した承認基準であり、提供元のタイムスタンプ、返されたフィールド、実際に観測した解析結果ではありません。

根拠の種類によって判断を分ける
主張の案必要な根拠確認時の判断
トレーが棚の方へ移動する。その動きが遮られずに見える映像。目に見える動作だけを認める。
トレーが印のある場所に置かれている。置かれた面と印の両方が見えること。手や撮影角度でどちらかが隠れる場合は未解決とする。
説明者がトレーを戻すように言う。聞き取れる発言、または別途確認した文字起こし。発言として記録する。置いた位置の証明にはしない。
手順が安全に実行された。別途定められた該当手順と、各要件に対する十分な根拠。範囲を絞ったこの映像確認演習の対象外。

モデルが「棚の上」と答えても、クリップから分かるのが「棚の横」だけであれば、その表現を不採用にします。最終的な位置が画面外なら、不明のままにします。回答が詳細でも、録画に映っていない出来事の視覚的な根拠は補えません。

5. 曖昧さとクリップの取り違えを確認する

ナレーションは同じでも、見える動作が異なる、処理を許可された 2 本目のクリップを準備します。確認の基準は、発言による指示を写すのではなく、映像に従う必要があります。最後の位置が隠れた例、無音版、似たファイル名の無関係なクリップも試します。不確かな回答が、不確かだと分かる形のまま示されることを確認します。

原本の識別情報、質問の文面、選んだモデル、回答文、確認者の修正をまとめて保持します。元の録画を差し替えたら、古い動画 ID を再利用せず、識別情報を再確認します。前の版の結果は、内容自体が整合していても、違う質問に答えている場合があります。

関連情報：コンピュータビジョンとは：画像から得られる根拠、認識、推論を区別する。

動画分析AIの対象範囲と制限は何ですか？

モデルを呼び出さずに人が出来事を直接確認できる場合は、通常の動画再生を使います。この設計を監視、本人識別、感情検出、人が確認しない遵守判定に使わないでください。エクスポートには、対応コーデック、アップロードの上限、文字起こしとの対応、フレームのサンプリング、タイムスタンプの精度は示されていません。

複数の録画から関連するクリップを見つけるには、この確認を行う前に、別の動画検索の設計を使います。コレクションの検索と、選んだ 1 本のクリップへの回答では、異なる承認基準が必要です。

プランとワークフローの容量。月間 Flowi Tokens は Go が 5,000、Plus が 25,000、Pro 100 が 50,000、Pro 200 が 100,000、Pro 500 が 250,000 です。ワークフロー、連携ツール、確認手順に合う容量を選んでください。 デモを予約

読み込み、インデックス作成、質問の実行回数を、実際の実行履歴から数えます。受け渡しの失敗後に繰り返した試行も含めます。この案には、映像解析の精度、全体を組み合わせた実行の成功、提供元の処理時間の測定結果はありません。

執筆：Ai Flowi · 公開日。