文本分类：标签、暂不分类与评估
作者：Ai Flowi · 发布于
文本分类使用定义好的分类体系，为一个文本单元分配一个或多个标签。文本单元可以是文档、摘要或段落；分类体系决定标签的含义。实用的分类器还应能够暂不分类：当给定文本不足以支持某个标签，或多个候选标签的冲突尚未解决时，不强行作出判断。
单标签、多标签与层级分类任务
单标签分类为每个已接受的输入选择一个类别。文本涉及多个主题时，这种选择需要明确规则。如果审核人员对“主要”指的是开篇主题、篇幅最长的讨论，还是文档声明的目的存在分歧，那么“选择主要主题”就不够明确。
多标签分类允许多个类别分别适用。它需要为每个类别制定纳入规则，并定义空集的表示方式。层级结构将标签组织为父子类别，例如 Operations（运营）下的 Facilities（设施）。应明确能否只接受父类别而不选择子类别，以及是否允许多个分支。
这些结构是任务约定，不是模型先进程度的衡量标准。如果目标端只接受一个类别，多标签响应就不适用，除非有经过审核的规则来解决这种差异。分类体系可以是层级结构，而实际任务仍可能要求一个叶子标签。
文档摘要的虚构分类体系
这是虚构且具备使用权限的内部文档场景；未报告任何分类器运行。设想一个研究团队将摘要分类后放入索引。分类体系版本 topics_v1 使用三个单标签类别，加上一个审核状态。
| 标签 | 纳入范围 | 排除或审核范围 |
|---|---|---|
| Methods（方法） | 采集或分析研究测量数据的流程。 | 不涉及测量流程的设备室维护。 |
| Facilities（设施） | 房间、公用设施及共享实体空间的维护。 | 批准研究或保留研究记录的规则。 |
| Governance（治理） | 审核职责、权限和记录保留规则。 | 仅提及委员会，却没有规则或决策。 |
| needs_review（需要审核） | 文本不足、多个类别竞争且没有优先规则，或主题超出范围。 | 不要在主题统计中将它作为第四个主题类别。 |
考虑三个虚构摘要：“温度测量校准流程”支持 Methods；“实验室通风检查计划”支持 Facilities；“研究记录的审批与保留规则”支持 Governance。这些是作者分配的教学标签，并非预测结果。
“实验室翻修的审批要求”同时涉及设施和审批规则。在没有优先规则的单标签方案下，应返回 needs_review，并保留两方面的理由。在经过审核的多标签方案中，Facilities 和 Governance 可以同时适用。改变标签结构，会改变正确答案。
分类、实体识别与关键词匹配有何区别？
文档可以提到某所大学，但主题却是通风维护。命名实体识别识别该名称的文本跨度并赋予类型；分类则为整个摘要分配标签。两种输出回答的是不同问题。
主题关键词是待检查的证据，不一定是分类规则。“审批”一词可能出现在排除条款、引文或附带句子中。如果可信字段已明确提供类别，应先采用确定性匹配。只有需要从获准使用的文本中推断主题时，才使用信息解释，并保留支持该推断的分类边界。
支持工单分类指南将标签用于工单分流和路由。本例中的文档索引不涉及队列、严重程度或客户行动要求。这里的标签约定关注主题内容和可审核性。
相关内容：关键词提取：文本短语、依据与审核。
暂不分类是一项决策，并非解析失败
明确记录暂不分类的原因：内容不足、超出分类体系、主题冲突或输出缺乏支持。保留原始文档引用和分类体系版本。格式正确的 needs_review 记录可以满足输出约定，却仍不适合自动编入索引。
缩短的摘要可能省略决定主题的句子。如果截断后只剩“实验室翻修”，Facilities 看起来就合理，即使缺失段落实际解释的是审批政策。应记录所分类的文本版本，并根据 topics_v1 将不完整摘要标记为需要审核。片段的标签不应悄悄变成尚未查看过的完整文档的标签。
本例拟议的应用结果包含 document_ref、taxonomy_version、label、evidence_excerpt 和 abstention_reason。不在已批准标签清单中的标签，违反了约定。标签虽获允许，但证据不相关，则属于语义错误。应分别记录两者。
示例混淆矩阵
人工构造的评分示例，并非基准测试证据。假设六个带标签的示例得到以下假定分类结果。行表示参考标签，列表示拟议标签。每行包含两个示例。
| 参考标签 / 拟议标签 | Methods（方法） | Facilities（设施） | Governance（治理） |
|---|---|---|---|
| Methods（方法） | 2 | 0 | 0 |
| Facilities（设施） | 0 | 1 | 1 |
| Governance（治理） | 1 | 0 | 1 |
对角线包含六个分类结果中的四个正确结果。Methods 的精确率，是三次 Methods 预测中有两次正确；其召回率，是两个参考 Methods 示例中找到了两个。Facilities 的一个拟议标签中有一个正确预测，但两个参考示例只找到了一个。这种区别揭示了总体数字可能掩盖的错误。
暂不分类的结果应记录在这个已接受分类结果矩阵之外。如果另有两个示例被留待审核，评估总体就是八个，已接受结果的覆盖率为八个中的六个。报告已接受分类结果的准确率时，必须同时报告覆盖率，并检查待审核案例。
留出集评估与标签变化
将留出集与用于编写分类体系或调整提示词的示例分开。应包含简短、多主题和超出范围的摘要。拆分之前先将近似重复文档分组，避免稍作编辑的副本同时出现在开发集和评估集中。
让审核人员独立标注，再检查分歧。纳入规则模糊是分类体系的问题；预测违反已达成共识的规则，则是模型错误。应保留尚未解决的人工分歧，不要假装每个参考标签都确定无疑。
标签含义或类别发生变化时，就会出现分类体系漂移。在比较数量之前，应对分类体系进行版本管理，并记录旧类别如何映射到新类别。文档语言或主题构成变化则是另一种分布变化，即使标签不变，也可能改变错误模式。
AI Flowi Workflow 的组件边界
这些文档分类体系试验所依赖的接口，可参考目录中的 Structured Output 和 Batch Run 条目。
两种试验在不同输入规模下回答同一个主题标签问题。在批量试验中，审核副本应保留文档引用，但只选取摘要供模型解释。名为 Governance 的管理文件夹，不能成为将一篇测量流程摘要分类的证据。应根据文本核查最终标签，而不是根据存储位置。
示例配置，并非已记录的测试
对于单个摘要，通过 Structured Output.input_value 提供文档引用和文本。将 system_prompt 设为经过审核的 topics_v1 纳入规则和 needs_review 策略；将 schema_name 设为 document_topic，并为拟议结果字段配置已检查的 output_schema Table。选择已配置且与 LanguageModel 兼容的 model。
对于独立的批量试验，通过 Batch Run.df 提供获准使用的 Table，将 column_name 设为 abstract，将 output_column_name 设为 topic_proposal，并在 system_message 中放入分类体系。检查源引用与结果值是否仍保持关联。这里不声称存在从 Structured Output 到 Batch Run 的直接链式执行，也不声称批量结果模式受到强制约束。
两种方案都需要你自己的模型提供商账户和 API 密钥，提供商费用另行支付。Structured Output 和 Batch Run 的状态为：目录中已记录；未经 Ai Flowi 生产环境测试。集合较小，或标签控制重要决策时，应采用人工审核。使用案例中心提供各有适用范围的现有工作流示例；结构化输出解释格式边界。