自然语言处理：任务、输入与语言歧义
自然语言处理（NLP）是计算机领域中研究如何分析和生成人类语言的方向，包括文本分类、特定信息提取、段落摘要和回复生成等任务。一个有用的 NLP 任务需要明确输入、预期输出，以及遇到语言歧义时应如何处理。
在 AI 语境中，NLP 指自然语言处理，而非神经语言程序学。它是语言任务的统称，并不意味着系统能像人一样理解每一句话。首先应确定输出必须说明什么。
NLP 如何在任务边界内工作
语言应用接收文本，或接收由语音等其他来源转换而来的文本表示。它可以将输入拆分成单元，应用明确规则或使用学习得到的模型，再返回任务所定义的结果。不同方法可以解决这个过程中的不同环节。
词元化将语言拆成处理单元，这些单元不一定是完整的词。分类输出类别，提取输出选定的信息，生成则输出新的措辞。生成的段落可以包含分类决定，但如果另一个系统要使用该决定，仍需明确约定输出格式和含义。
上下文会改变含义。否定、指代、引述、拼写差异和多语言内容，都可能影响一条消息能够支持哪些结论。组件能接收文本，并不能说明它能正确处理哪些语言、专业术语或上下文长度。应测试具体任务，不能把总体语言流畅度当作所有语言操作都可靠的证据。
用六条消息组成的语料选择任务
虚构的小型语料，预期输出由作者编写。这是六个独立的教学案例，并非记录下来的模型回复。提取方案指定领取的星期和地点；分类方案区分修改详情的请求与询问信息的问题。参考标签只适用于这些已声明的任务。
| 案例与输入 | 任务 | 作者编写的预期输出 | 有歧义的反例或限制 |
|---|---|---|---|
| N01：星期二在 Cedar Desk 领取。 | 字段提取 | day = 星期二；place = Cedar Desk；具体日期未知。 | “到时候在服务台领取”需要先前的上下文。 |
| N02：请把领取时间改为星期四。 | 请求动作分类 | change_detail，以请求语句为证据。 | “领取安排改了吗？”是在询问信息。 |
| N03：托盘已送达，但缺少盖子。已请求补发盖子。 | 摘要生成 | 托盘送达时没有盖子，已请求补发。 | 提出请求不能证明补发物品已寄出。 |
| N04：拟一条礼貌的询问，确认打算哪天领取。 | 语言生成 | 请问您想哪天领取？ | 草稿不得虚构已经确认的预约。 |
| N05：不要修改标签；解释它的含义。 | 任务理解 | 解释现有标签；不允许修改。 | 忽略“不要”会使指令含义颠倒。 |
| N06：那之后把它移到那里。 | 指代理解 | 询问所指的物品、目的地和事件分别是什么。 | 已提供的上下文无法明确其中任何一个指代。 |
N01 中的星期二只提到了星期，并非完整日期。补上月份或年份会超出输入证据。N03 的摘要可以缩短原文，但必须保留补发请求尚未完成这一状态。这两个案例说明，看似合理的答案也可能不符合任务要求。
N04 可以有多种合格措辞。验收规则关注的是礼貌程度、缺失的领取日，以及是否虚构了承诺，而非逐字匹配某一句话。N05 的动作边界更严格：任何允许修改标签的理解都违反了输入中的否定要求。
NLP 可以用于什么？
NLP 可以帮助整理文本、定位提及的信息、压缩内容，或起草供审核的文字。首先要选择处理单位：整份文档、段落、句子，还是某个具体片段。某一句话的标签不能自动代表它所在的整份文档。
文本分类处理标签分配问题。命名实体识别确定提及实体的文本片段及其类型。对话式 AI处理跨轮次的对话上下文。这些专门任务各自需要验收检查，统称不能替代这些检查。
如果已提供的明确字段或普通文本规则能回答问题，就直接使用它们。例如，可信记录直接写明 collection_day = Tuesday，读取该字段可能就足以完成任务。只有当答案依赖于现有结构未提供的语言含义时，才引入语义理解。
语言歧义需要对应的输出状态
“这样就好”可能是在同意建议、打消顾虑，也可能是在引用别人的话。保留系统可用的上下文，并区分有依据的决定与猜测。在处理前定义好“未知”“需要澄清”和“超出范围”等状态，可以让这些状态成为有用的输出。
将原文内容与任务指令分开。如果文档引用了“修改标签”，这段引文是待分析的内容，不一定是给应用的指令。审核记录应明确谁的指令具有权威性，以及引用该原文段落是为了说明什么。
对于 N06，即使编出一个午饭后移动托盘的连贯故事，也仍然没有依据。仅凭这句话无法确定缺失的物品、目的地和事件。询问这些细节符合澄清要求，同时让动作保持待处理状态。
AI Flowi Workflow 中已有文档说明的接口
Language Model 参考文档以及组件目录中的 Structured Output 条目分别涉及模型调用和格式化接口；两者均已在目录中说明，但未经 Ai Flowi 生产环境测试。
对于这组语料，应先定义哪些情况算任务错误，再选择接口。N01 中，如果答案把星期二变成具体日期，即使返回的字符串符合日期格式，也仍然不合格。N02 中，如果把关于既有变更的询问路由为新的修改请求，就不合格。N03 中，如果摘要声称补发物品已寄出，就不合格。这些检查关注信息是否被添加或误解，而非回复的结构。
提取和生成需要分别制定审核标准。N01 必须保留已给出的星期和地点；N04 允许措辞变化，但必须询问缺失的领取日。把每个答案与唯一的参考字符串精确比较，会拒绝合格草稿，也可能漏掉格式整齐却没有依据的日期。这组语料仅包含作者编写的预期输出。今后试用服务提供商时，如有要求，需要使用您自己的提供商凭据，以及单独付费的用量账户。
常见 NLP 错误与相关定义
不要把语法正确的答案等同于理解正确，也不要把模型回复等同于动作已经执行，或把格式正确的对象等同于有依据的事实。在继续传递解释后的指令前，应检查否定和指代。任务的输出约定一旦改变，就需要重新检查同一组案例。
情感分析关注表达出来的评价。语音识别将音频转换为文本，数据标注则为任务准备参考依据。仅凭 NLP 语言生成，不能证明底层模型是在工作流中训练的。
作者：Ai Flowi · 发布于