AI 영상 검색: 답변 전에 클립 찾기
AI 영상 검색은 영상 내용에 대한 질의로 컬렉션에서 후보 클립을 찾습니다. 결과를 검토할 수 있도록 클립의 식별 정보와 경계를 정의하고, 영상·텍스트 표현의 짝이 호환되는지 검증한 뒤, 사람이 확인할 수 있는 목록을 반환합니다. 시각적으로 비슷한 클립을 찾았다는 사실만으로 사용자 질문의 답이 입증되지는 않습니다.
이 가이드는 사용 권한이 있는 작은 영상 라이브러리의 검색을 설계합니다. 시맨틱 검색 설명 은 의미 기반 매칭을 다룹니다. 여기서는 식별 가능한 영상 구간을 찾고 표현의 호환성을 확인하는 작업이 추가됩니다.
이 검색 제안은 설정 예시이며, 기록된 테스트가 아닙니다. 명시된 인터페이스는 카탈로그에 문서화되어 있지만, Ai Flowi가 결합된 멀티모달 검색 흐름으로 운영 환경에서 테스트하지 않았습니다.
1. 검색 시스템과 별개로 클립 라벨 지정하기
처리하고 선택한 서비스에 전송할 권한이 있는 녹화물로 시작합니다. AI Flowi Workflow, 영상 파일, 본인의 TwelveLabs 계정과 API 키, 적절한 인증 정보로 접근 가능한 OpenSearch 서비스가 필요합니다. 임베딩 제공업체 사용 요금과 외부 서비스 비용은 별도로 청구됩니다. 연결 참조 문서에서 인증 정보의 경계를 설명합니다.
분할 전에 원본 ID와 개정 정보를 부여합니다. 각 클립에는 고유 클립 ID, 상위 원본 ID, 시작·종료 경계, 권한 범위, 독립적으로 검토한 내용 라벨을 보관합니다. 이는 직접 관리하는 메타데이터 필드의 제안이며, 카탈로그에는 자동 타임스탬프나 클립 결과 스키마가 선언되어 있지 않습니다.
세 라벨로 구성된 훈련용 라이브러리 예시를 사용합니다. CLIP-A는 쟁반을 표시된 작업대 위에 놓는 장면입니다. CLIP-B는 “표시된 작업대”라는 발언이 나오지만 쟁반은 선반 옆에 그대로 있는 장면입니다. CLIP-C는 쟁반 이동 없이 라벨 프린터를 설명합니다. 라벨은 평가 목표를 지정하며, 인덱싱된 미디어나 관찰된 검색 결과가 아닙니다.
2. 인덱싱 전에 분할 결과 확인하기
카탈로그의 Split Video 설명은 다음과 같습니다: 영상을 지정된 길이의 여러 클립으로 분할합니다.
마지막 구간의 옵션은 "Truncate", "Overlap Previous", "Keep Short"입니다. 이름만으로 정확한 경계 처리 동작이 문서화되어 있지는 않습니다. 보존되는 분량을 추론하지 않고 생성된 클립을 확인합니다.
클립 설정 표가 화면보다 넓으면 해당 영역 안에서 스크롤하거나, 포커스를 주고 방향키를 사용합니다.
| 컴포넌트 | 선택한 설정 | 필수 검토 |
|---|---|---|
| Split Video | videodata: 확인한 Data/JSON. clip_duration: 선택한 시험 값. last_clip_handling: "Keep Short"로 시작합니다. include_original: false. | clips는 JSON을 반환합니다. 모든 경계, 특히 마지막 행동과 짧은 끝부분을 확인합니다. |
다음 영상 분석의 로딩 단계를 따라 Video File을 설정하고 Table에서 Data/JSON으로 미디어를 전달합니다.
Split Video의 내보내기 자료에는 길이 단위나 허용 범위가 명시되어 있지 않습니다. 따라서 선택한 정수를 검증된 초 단위 설정으로 볼 수 없습니다. 쟁반 배치 예시에서 유효한 구간은 접근과 내려놓기 장면을 충분히 보여 작업대 위에 놓는 것과 옆을 지나가는 것을 구분할 수 있어야 합니다. 행동이 제안된 경계를 넘으면 인접 구간도 검토합니다.
결정적인 행동이 끝부분에 있는 가상 원본으로 마지막 구간 옵션 세 개를 모두 비교합니다. 해당 행동이 보존되는지, 여러 클립에 나타나는지 기록합니다. 겹치는 결과가 같은 사건을 가리키면 검토 중 원본과 사건 구간별로 묶습니다. 원본 미디어 포함 옵션을 켜면 구간 단위 결과와 함께 원본 단위 결과도 나올 수 있습니다. 실제 효과를 확인합니다.
3. 공통 표현 공간 확인하기
| 컴포넌트 | 설정할 입력 | 제공되는 출력 |
|---|---|---|
| TwelveLabs Video Embeddings | 필수 api_key. 명시된 model_name 선택지 "Marengo-retrieval-2.7". 선택적 정수 request_timeout. | embeddings: Embeddings. |
| TwelveLabs Text Embeddings | 필수 api_key. 명시된 model 선택지 "Marengo-retrieval-2.7". 선택적 max_retries 및 부동소수점 request_timeout. | embeddings: Embeddings. |
이 포트들은 임베딩 모델 연결을 제공합니다. 이미 계산된 클립 벡터의 문서화된 목록이나 영상 임베딩 컴포넌트의 명시적인 미디어 입력은 제공하지 않습니다. 선택 항목의 텍스트가 같다는 사실만으로 설정된 저장소가 클립을 수집하고 그 표현을 텍스트 질의와 비교할 수 있다고 입증되지는 않습니다.
표현 호환성과 모델 변경의 일반적인 규칙은 텍스트 임베딩을 참고합니다.
이 영상 컬렉션에서는 CLIP-A 레코드 하나를 미디어 참조에서 수집 요청까지 추적하고, 쟁반 배치 질문을 텍스트 질의 요청까지 추적합니다. 각 요청이 실제로 어떤 임베딩 연결을 사용하는지 기록합니다. 사람이 작성한 클립 라벨만 검색하는 텍스트 질의는 시각적 내용 검색을 입증하지 않습니다. 라벨을 평가용으로 보관하되, 검색 가능한 레코드에도 포함되는지 확인합니다.
대조되는 CLIP-B 요청을 같은 시험에 포함합니다. 내레이션은 작업대를 언급하지만 화면의 행동은 질의를 충족하지 않습니다. 반환된 미디어가 배치를 보여 주는지, 단지 같은 발언을 포함하는지 검토합니다. 특정 점수나 제공업체의 순위를 가정하지 않고도 질문의 시각적 요구사항과 텍스트만 일치하는 경우를 구분할 수 있습니다.
4. 검색 저장소 경계 설정하기
다음 카탈로그에는 OpenSearch (Multi-Model Multi-Embedding)가 있습니다. opensearch_url, index_name 및 서비스가 지원하는 인증 방식을 설정합니다. 명시된 auth_mode 선택지는 "basic"와 "jwt"입니다. 해당 인증 정보를 비공개로 제공하고, 배포 환경에 맞게 use_ssl과 verify_certs를 검토합니다.
ingest_data는 Data, DataFrame, Table을 받고, docs_metadata는 Data 또는 JSON을 받습니다. 따라서 Split Video의 JSON 결과가 ingest_data에 직접 연결된다고 문서화되어 있지는 않습니다. 저장소가 요구하는 표현을 파악하고, 준비된 클립 레코드를 확인하며, 검색 결과에 식별 정보와 미디어 위치가 보존되는지 검증합니다.
저장소에는 Embeddings를 받는 embedding 입력 하나와 embedding_model_name, vector_field가 제공됩니다. 이 내보내기 자료는 영상 수집 모델과 텍스트 질의 모델을 별도로 동시에 연결하는 방법을 입증하지 않습니다. 성공한 흐름으로 설명하기 전에 실제 통제된 설정에서 이 호환성 경계를 해결합니다.
질의 시험에서는 search_query, 선택한 number_of_results, 독립적으로 검증한 filter_expression을 설정합니다. search_results는 Table로, raw_search는 JSON으로 확인합니다. 어느 출력에도 고정된 점수 척도, 클립 ID 키, 타임스탬프 스키마가 선언되어 있지 않습니다.
5. 후보 목록을 반환하고 관련성 확인하기
| 질의 | 원하는 검토 대상 | 드러내야 할 실패 |
|---|---|---|
| “표시된 작업대”라는 발언을 찾으세요. | 그 발언이 정확히 포함된 구간. 오디오나 전사문과 대조하여 확인합니다. | 해당 발언이 없는 시각적 일치. |
| 쟁반을 표시된 작업대 위에 놓는 장면을 찾으세요. | 직접 작성한 시각적 라벨 기준의 CLIP-A. | 발언에서는 작업대를 언급하지만 요청한 행동은 없는 CLIP-B. |
| 쟁반을 밖으로 들고 가는 장면을 찾으세요. | 이 라이브러리 예시에는 관련 클립이 없습니다. | 쟁반이 있다는 이유만으로 확신하는 일치 결과. |
정확한 발언 검색에는 별도로 확인한 전사문 인덱스가 필요할 수 있습니다. 이 설정은 정확한 오디오 구문 검색 기능을 입증하지 않습니다. 비교 작업으로 유지합니다. 실제 반환된 후보마다 원본·클립 ID, 검토한 경계, 질의, 반환 순위, 사람의 관련성 판단을 기록합니다. 응답에 원시 점수가 있을 때만 설정 맥락과 함께 보존합니다.
라벨이 관련 있어 보여도 접근할 수 없거나 개정 버전이 잘못된 클립은 거부합니다. 원래 결과 근거를 삭제하지 않고, 검토 목록에서 같은 사건을 중복해서 보여 주는 항목을 합칩니다. 관련 클립이 빠졌다면 답변 생성을 추가하기 전에 수집과 질의 표현을 조사합니다.
동영상 검색 AI의 검색 한계와 답변 단계로의 전달은 어떻게 되나요?
이 제안을 신원 확인, 모든 사건을 빠짐없이 찾는 검색, 보안 모니터링 시스템으로 사용하지 않습니다. 검색 벤치마크, 보정된 점수 임계값, 권한 필터의 강제 적용은 입증되어 있지 않습니다. 접근 제어가 검증되기 전까지 메타데이터의 권한 라벨은 설명에 불과합니다.
접근 가능한 관련 클립을 선택한 뒤에는 영상의 시각적 분석을 사용하여 질문과 근거를 별도로 검토합니다. 검색 결과와 최종 답변은 서로 다른 자료로 보관합니다.
요금제: Go 연간 결제 시 월 USD8부터(월간 USD10), Plus 월 USD16부터(월간 USD20), Pro 100 월 USD80부터(월간 USD100), Pro 200 월 USD160부터(월간 USD200), Pro 500 월 USD400부터(월간 USD500). 매월 5,000~250,000 Flowi Tokens가 제공되며 충전도 가능합니다. 노드 실행 1회당 1토큰, 타사 API 및 모델 사용 요금은 포함되지 않습니다.
실제 실행 기록을 사용하여 분할, 표현 준비, 수집, 질의 시험의 사용량을 별도로 산정합니다. 이 페이지는 검색 승인 기준과 설정상 확인되지 않은 부분을 제공하며, 멀티모달 파이프라인이 성공적으로 실행되었다고 주장하지 않습니다.
작성: Ai Flowi · 게시일 .