向量数据库

向量数据库存储数据项的向量表示,并支持按选定的相似度或距离度量搜索邻近向量。对于文本,这些向量通常由嵌入模型生成。搜索返回与查询向量表示相关的候选记录;它并不能证明记录内容属实,也不能证明内容回答了问题。

作者:Ai Flowi · 发布于

向量是用于搜索的表示,而关联记录承载段落、文档标识符和元数据等有用材料。保持这种关联至关重要:只有邻近数值列表,却没有原始内容,就无法为文档问答应用提供可用的证据来源。

向量存储与普通记录存储有何区别?

传统记录查找可以通过精确标识符找到一项政策。向量查询则可以查找与“我可以把设备带离现场吗?”这样的表述相关的段落,即便文档使用的是不同措辞。这些操作回答不同的问题,可以在同一个应用中并存。

精确标识符、访问权限和当前文档版本仍需要明确处理。其他部门的一项政策即便语义相关,也未必适用。使用向量数据库,仍然需要常规筛选和权威记录选择。

文本嵌入条目解释文本如何变成向量表示。语义搜索讨论相关性问题。本条目聚焦于存储这些表示,并检索其关联记录。

数据导入、索引与查询

导入时,应用选择源材料,准备要存储的数据项,并从嵌入模型获取向量。它保留每个向量与源记录之间的对应关系。索引是数据库用于查找候选项的搜索结构,无需把每次查询都作为精确文本查找处理。

查询时,应用在兼容的嵌入空间中表示问题,并请求存储系统返回邻近记录。所选度量决定如何评估接近程度。检索结果应包含足够的关联内容和来源信息,供下一阶段判断相关性。

有些系统使用近似最近邻技术减少搜索工作量;有些则支持精确比较或多种索引选择。这里的组件目录没有指明特定索引算法、准确性取舍或规模上限。不要从“向量存储”这一通用名称推断这些属性。

更新文档时,需要保持其存储表示与来源关联一致。否则,搜索可能返回由旧文本生成的向量,而应用显示的却是较新的记录。更换模型也可能需要重新生成已存储的向量;仅仅维度兼容,并不能证明含义兼容。

相关内容:MongoDB Atlas 向量搜索集成。

一个小型文档搜索示例

设想一个虚构的维修文档库,其中有原版泵操作说明、修订版说明和一份已撤回的故障排查说明。存储层面需要解决的问题,是如何将返回的段落追溯到生成该向量的版本。磁盘上的文件是当前版本,并不能证明每条可搜索记录都对应这个版本。

虚构文档库中各部分的作用
存储项关联信息检索检查
原版泵操作说明段落标识符和原始修订版本。修订后,这条记录是否已停用?
修订版泵操作说明更新后的文本和修订版本关联。返回的段落是否对应修订后的来源?
已撤回的故障排查说明来源标识符和撤回记录。它是否已从当前有效的可搜索集合中移除?

这是一个检查来源生命周期的示例,未测量数据库操作或排序表现。找到修订版说明只是其中一项检查;原版和已撤回的记录也需要检查。即便搜索将新段落排在第一位,过时段落仍可能被其他查询检索到。

AI Flowi Workflow 组件目录中的 Chroma DB

Chroma DB 的数据导入、搜索、持久化、连接字段和结果端口,请参阅 Chroma 集成参考文档。

向量表示说明区分了生成的向量与嵌入模型连接。

存储时,应保留来源关联记录,包含生成每个可搜索数据项所使用的文档标识、段落标识和修订版本。这些是建议的记录管理字段,并不声称是 Chroma 的数据结构。段落变化时,这条记录能帮助你确定哪个表示需要替换。没有这种记录,当前源文件和较旧的索引段落可能同时存在,却没有明显的办法追溯两者为何不一致。

重建检查应将预期来源清单与集合对已知数据项实际返回的内容比较。仅凭查询,不能证明过时条目已被删除,因此,应通过已配置存储系统文档中说明的检查方式验证删除情况。组件目录没有提供该方法,也未承诺原子替换;新集合完成检查前,应保留原始来源清单。

已在组件目录中说明;Ai Flowi 未进行生产环境测试

可在组件目录中找到 Chroma DB;部署设置由集成参考文档介绍,模型连接文档则说明如何使用你自己的嵌入服务提供商账户/API 密钥,以及单独收取的嵌入费用。

泵文档库的停用与重建决策

原版泵操作说明、替代版本和已撤回的故障排查说明,需要不同的生命周期决策。停用原版说明时,应使它不再参与当前搜索,同时在来源历史中保留其标识。替代版本应指向修改后的文本。撤回时,即便没有替代说明,也应将故障排查说明从可参与检索的集合中移除。

将预期清单与存储检查结果一起保留:哪些来源修订版本属于当前文档库,哪些已被替代,哪些已撤回。这是建议的复核记录,不是组件目录定义的数据库结构。它为重建提供了明确的复现目标。如果只比较存储项数量,可能发现不了一份过时说明被换成了不相关的段落。

部分重建的文档库可能已包含修订版泵操作说明,却仍缺少来自同一来源的另一段预期内容。应同时检查来源覆盖范围和修订版本关联。反过来,即便段落齐全,如果关联了错误的修订版本,仍然不一致。成功检索到一个修改后的段落,并不能解决这两个问题中的任何一个。

如果更换嵌入模型引发重建,应将已存储向量及其查询表示视为配套集合。替代集合完成复核前,确保仍能识别旧集合;否则,一次失败的变更可能让你无法明确该恢复哪个集合。来源清单提供重建输入,嵌入配置则说明这些输入如何变成可搜索的表示。

使用已配置存储系统的检查功能,确认已停用的泵材料不再具备检索资格,不能因为它未出现在某一次结果列表中,就推断已经删除。完成这些生命周期检查后,若需评估相关性得分,请参阅 RAG 评估。

常见错误与相关阅读

不要把向量接近程度当作事实核查,不要把集合名称当作用户授权,也不要把持久化设置当作备份策略。真正的任务若是查找精确标识符,应使用精确记录查询。基于搜索的文档辅助应用,在生成任何解释前,都需要复核相关性。

知识库指南介绍现有产品的设置,而非这些存储概念。可按照上下文工程选择检索段落,并按照提示词工程界定回答任务。Agent 契约和使用场景介绍其他应用层;向量数据库本身不生成回复。