AI 视频搜索：先检索片段，再回答问题
AI 视频搜索根据关于内容的查询，从视频集合中检索候选片段。要让结果可供审核，应明确片段标识和边界，验证视频与文本表示的配对，再返回可供人工检查的列表。检索到视觉上相似的片段，并不等于确立了用户问题的答案。
本指南设计的是针对小型、获准使用的视频库的检索。语义搜索说明介绍基于含义的匹配；本文还需定位标识明确的视频片段，并检查表示之间的兼容性。
本检索方案属于示例配置，并非已记录的测试。所列接口已记录在组件目录中；Ai Flowi 尚未将其作为组合多模态搜索链进行生产环境测试。
1. 独立于搜索系统标记片段
先使用你有权处理并发送给所选服务的录像。你需要 AI Flowi Workflow、视频文件、自己的 TwelveLabs 账户/API 密钥，以及可访问且具备适用凭据的 OpenSearch 服务。嵌入提供商用量和外部服务费用另行计收。连接参考说明了凭据边界。
分段前为来源分配 ID 和修订版本。每个片段都应保留唯一片段 ID、父来源 ID、起止边界、许可范围，以及独立审核过的内容标签。这些是由你维护的拟议元数据字段；组件目录没有声明自动时间戳或片段结果模式。
使用人工设计的培训视频库，包含三个标签：CLIP-A 显示托盘被放到有标记的工作台上；CLIP-B 中有人说出“有标记的工作台”，但托盘仍在架子旁；CLIP-C 讨论标签打印机，没有托盘移动。这些标签定义的是评估目标，并非已索引媒体或实际观察到的搜索命中。
2. 索引前检查分段
组件目录对 Split Video 的描述是：将视频拆分为多个指定时长的片段。
其末段处理选项为 "Truncate"、"Overlap Previous" 和 "Keep Short"。这些名称并未说明确切的边界行为；应检查生成的片段，不要推断保留了多少内容。
如果片段设置表宽于屏幕，可在该区域内滚动，或将焦点移入后使用方向键。
| 组件 | 所选配置 | 必需审核 |
|---|---|---|
| Split Video | videodata：已检查的 Data/JSON；clip_duration：选定的试验值；last_clip_handling：先使用 "Keep Short"；include_original：false。 | clips 返回 JSON。检查每个边界，尤其是最后的动作和短尾段。 |
Video File 配置及 Table 到 Data/JSON 的媒体交接，请参阅视频分析的加载步骤。
Split Video 的导出资料没有说明时长单位或支持的取值范围，因此选定一个整数，并不意味着已确认该值按秒计。在托盘放置示例中，可用片段必须充分显示接近与落放过程，以便区分放到工作台上和从旁经过。当动作跨越拟议边界时，应审核相邻片段。
使用一个模拟源视频，其中决定性动作发生在末尾，比较全部三个末段处理选项。记录该动作是否保留，以及是否出现在多个片段中。如果重叠结果指向同一事件，审核时按来源和事件范围分组。启用“包含原始媒体”选项后，也可能同时产生来源级和片段级结果；应验证实际效果。
3. 检查共同的表示空间
| 组件 | 需配置的输入 | 提供的输出 |
|---|---|---|
| TwelveLabs Video Embeddings | 必填 api_key；列出的 model_name 选项为 "Marengo-retrieval-2.7"；可选整数 request_timeout。 | embeddings：Embeddings。 |
| TwelveLabs Text Embeddings | 必填 api_key；列出的 model 选项为 "Marengo-retrieval-2.7"；可选 max_retries 和浮点数 request_timeout。 | embeddings：Embeddings。 |
这些端口提供嵌入模型连接。文档未表明这些端口会提供已经计算好的片段向量列表，视频嵌入组件也没有显式媒体输入。仅凭相同的选择器文字，不能证明已配置的存储系统能够摄取这些片段，并将其表示与文本查询进行比较。
表示兼容性与模型变更的一般规则，请参阅文本向量化。
针对本视频集合，跟踪一条 CLIP-A 记录如何从媒体引用进入摄取请求，再跟踪托盘放置问题如何进入文本查询请求。记录每个请求实际使用了哪个已配置的嵌入连接。如果文本查询只是搜索人工编写的片段标签，就不能证明它从视觉内容中进行检索：应保留标签用于评估，同时明确标签是否也进入可搜索记录。
将作为对照的 CLIP-B 请求纳入同一试验。其旁白提到了工作台，但可见动作不符合查询要求。审核返回媒体是呈现了放置动作，还是仅包含相同的口头词语。这样可以区分问题的视觉要求与纯文本匹配，无须预设具体分数或提供商排序。
4. 配置搜索存储边界
组件目录列出了 OpenSearch (Multi-Model Multi-Embedding)。设置 opensearch_url、index_name 及服务支持的认证模式。列出的 auth_mode 选项为 "basic" 和 "jwt"。提供相应凭据时注意保密；根据部署检查 use_ssl 和 verify_certs。
ingest_data 接受 Data、DataFrame 或 Table；docs_metadata 接受 Data 或 JSON。因此，文档并未说明 Split Video 的 JSON 结果可直接连接到 ingest_data。应确定存储系统要求的表示，检查准备好的片段记录，并验证检索是否保留其标识和媒体位置。
存储组件提供一个接受 Embeddings 的 embedding 输入，以及 embedding_model_name 和 vector_field。这份导出资料没有确立同时连接独立的视频摄取模型和文本查询模型的方法。在声称搜索链成功之前，须在实际受控配置中解决这一兼容性边界。
查询试验中，设置 search_query、选定的 number_of_results，以及经独立验证的 filter_expression（如有）。检查 Table 类型的 search_results 和 JSON 类型的 raw_search。两种输出均未声明固定的分数尺度、片段 ID 键或时间戳模式。
5. 返回候选列表并检查相关性
| 查询 | 预期审核目标 | 需要暴露的失败情形 |
|---|---|---|
| 查找口头短语“有标记的工作台”。 | 包含该确切口头短语的片段，并对照音频或转录文本核对。 | 视觉匹配，但没有匹配的语音。 |
| 查找托盘被放到有标记的工作台上的片段。 | 按照人工编写的视觉标签，应为 CLIP-A。 | CLIP-B 的语音提到工作台，但没有所要求的动作。 |
| 查找有人在室外搬运托盘的片段。 | 本人工设计的视频库中没有相关片段。 | 仅凭出现托盘就给出确定的匹配。 |
检索确切口头词语可能需要单独核对过的转录文本索引；本配置不能证明具备精确音频短语搜索能力。应将其保留为对比任务。对于实际返回的每个候选，记录来源和片段 ID、已审核边界、查询、返回排名，以及人工相关性判断。只有响应确实提供原始分数时才保留，并同时保存其配置背景。
即使标签听起来相关，也应拒绝无法访问或修订版本错误的片段。在审核列表中合并同一事件的重复视图，同时保留原始结果证据。如果相关片段缺失，应先调查摄取和查询表示，再增加答案生成。
视频搜索 AI 的检索限制是什么，回答阶段如何交接？
不要将本方案用作身份核查、穷尽式事件搜索或安全监控系统。本文没有确立检索基准测试、经校准的分数阈值或权限过滤的强制执行。访问控制得到验证之前，元数据中的权限标签仅具有描述作用。
选定可访问且相关的片段后，使用视频画面分析进行独立的问题与证据审核。搜索结果和最终答案应作为不同材料分别保留。
套餐：Go 年付方案每月 USD8 起（月付 USD10），Plus 年付方案每月 USD16 起（月付 USD20），Pro 100 年付方案每月 USD80 起（月付 USD100），Pro 200 年付方案每月 USD160 起（月付 USD200），Pro 500 年付方案每月 USD400 起（月付 USD500），每月包含 5,000 至 250,000 个 Flowi Tokens，并支持充值；每次节点运行消耗 1 个 token；不包含第三方 API 和模型使用费用。
根据实际执行记录，分别为分段、表示准备、摄取和查询试验安排预算。本文提供检索验收标准和配置缺口，并未声称多模态处理流程已成功运行。
作者：Ai Flowi · 发布于 。