网页变化监控

网页变化监控将当前抓取的页面与之前抓取的页面进行比较,识别值得审核的差异。将页面地址、抓取时间和旧文本一同保存,再检查变化并批准新基准。下方设计生成可供审核的变化摘要,并不证明具备可用性检测、完整页面覆盖或持续监控能力。

作者:Ai Flowi · 发布于

定义什么算作变化

选择允许你抓取的公开页面,明确关注的章节:产品描述、政策措辞或服务公告。导航、轮换促销和个性化文本可能变化,但该章节未必改变。大范围文本差异意味着需要检查来源,并不能自动证明出现了有意义的业务变化。

以已批准的确切 URL 为键保存基准记录。拟议记录字段包括 baseline_text、baseline_captured_at、extraction_format 和 reviewer_note。采集数据前,先决定不同 URL 变体是否共用基准;不要让模型悄悄合并路径或查询参数变体。单独存储待审核的抓取结果,避免审核失败抹去之前的证据。

相关内容:Firecrawl 网页抓取集成:连接 AI Flowi Workflow。

相关内容:Apify 教程:AI Flowi Workflow 集成。

匹配抓取、比较与存储接口约定

抓取参考、类型转换指南和 Sheets 操作页面介绍了本快照设计使用的接口。

网页快照判断
阶段所需证据针对本页面的决定
URL 抓取所请求的章节和可用的抓取时间戳。登录页面和不完整文本暂不纳入比较范围。
基准选择同一 URL 和抓取规则下,之前已认可的文本。没有基准时,应标记为 initial_capture,而非已验证的变化。
变化解释成对摘录及其抓取日期。区分政策措辞修改与轮换导航或促销文本。
基准确认审核者实际检查的那份待审核抓取结果。不要用审核期间新到的抓取结果替换基准。

以政策编辑为例,旧抓取结果可能说某项服务在工作日提供,当前结果则新增公共假日例外。保留两个段落,并将例外条款列为拟议变化。如果当前提取结果完全丢失了政策章节,应报告比较证据不足。内容不完整的抓取结果不能证明例外条款被删除。这种区分让抓取完整性成为审核决定的一部分,避免把每处文本差异都转成业务提醒。

准备访问权限与证据存储

准备已授权的 Google 连接,以及由你控制访问权限的电子表格。AI 比较还需要自己的模型提供商账户/API 密钥,其费用另行支付。公开页面必须无需绕过访问控制即可读取。不要将登录 cookie 或网站私有凭据放入公开监控示例。

进行初次抓取,人工检查后批准其作为起始基准。首次抓取没有旧文本可供比较,所以结果应标记为 initial_capture,而非 changed。即使页面没有提供发布日期,也应保留来源 URL 和你的观察时间。这些日期回答的是不同的问题。

相关内容:竞品价格监控。

配置先审核后更新的监控工作流

示例配置,并非已记录的测试

  1. URL:使用抓取配置,将 urls 设为已批准的地址,format = “Text”、check_response_status = true、continue_on_failure = false。检查 raw_results 是否包含监控章节;即使请求成功,访问权限页面也不能用作政策抓取结果。
  2. Read Range:设置已授权的 google_account、spreadsheet_id 和 range_name,以读取快照记录。选择同一 URL 的旧记录并检查。该读取步骤本身不会执行按键值查找,也不会与新抓取结果进行联接。
  3. Type Convert:按照转换参考准备基准,将所选 JSON 作为 input_data,设置 output_type = “Message”。随后由操作人员提供标记为 PRIOR 和 CURRENT 的段落及抓取元数据,明确区分待审核抓取结果与已认可基准。
  4. Structured Output:将 input_value 设为比较用的 Message,配置 model 和 api_key,设置 schema_name = WebsiteChangeReview,并在 output_schema 中定义 change_status、prior_excerpt、current_excerpt、affected_section 和 uncertainty 字段。设置 system_prompt,要求只比较提供的抓取结果,并区分抓取失败与内容变化。
  5. Upsert Row:使用 Sheets 写入设置,设置 key_column = url、value_input_option = “RAW”,并让 row_data 包含已认可的抓取结果。在这次独立的人工写入前,确认获批抓取结果所对应的旧基准,仍与当前存储的基准一致;如果期间另一次审核改变了基准,先核对两个版本。

人工检查完成后再添加定时调度

如需选用 Schedule Trigger,按照定时调度设置指南配置拟用的 schedule_type = “Interval”、interval_unit = “Days”、interval_value = 1 和 timezone = “Asia/Kuala_Lumpur”,检查期间保持 enabled = false。

根据人工检查待审核变化的速度选择抓取间隔。审核者在多次抓取后返回时,应能看出哪份结果正在等待确认,以及后续版本是否已取代它。下一份抓取结果不能仅因时间戳更新,就悄悄成为已批准基准。间隔越短,需要核对的证据越多,并不代表人工审核更快。

schedule_data 是 JSON,不是抓取的页面,也不是比较用的 Message。自动执行仍需要经过验证的下游路径,用于选择正确基准、组合抓取结果,并在批准前暂停写入。定时抓取应生成待审核证据,而不替换已认可文本。无人值守使用前,应明确处理重叠运行和过期批准。

确认基准前先审核输出

预期审核记录应标明 URL、旧抓取结果和当前抓取结果,并将相关摘录与拟议变化描述并列。它应显示能否进行比较。缺少旧文本、内容为空和请求受阻应使用不同状态,而不是归为正常的无变化结论。

测试内容不变、有意义的措辞编辑、轮换页面附属内容和抓取失败。检查所有暂缓情形中,旧基准是否仍完整保留。Upsert Row 的首次匹配行为意味着重复 URL 键可能掩盖后面的行;依赖基准表前,应检查并修复重复项。

网站变更监控的覆盖限制是什么,有哪些替代方案?

由 JavaScript 渲染的内容、地区特定文本和认证页面可能导致误报或漏报。AI 比较可能遗漏细小但重要的编辑。如果要求精确比较文本,应使用确定性的比较流程,并审核其抓取规则。本指南没有描述浏览器渲染引擎或可用性提醒服务。

拟议组件已记录在组件目录中;Ai Flowi 尚未进行生产环境测试。提供商收费、重试和重复抓取都会影响用量,不能只按已认可基准的数量计算。

套餐:Go 年付方案每月 USD8 起(月付 USD10),Plus 年付方案每月 USD16 起(月付 USD20),Pro 100 年付方案每月 USD80 起(月付 USD100),Pro 200 年付方案每月 USD160 起(月付 USD200),Pro 500 年付方案每月 USD400 起(月付 USD500),每月包含 5,000 至 250,000 个 Flowi Tokens,并支持充值;每次节点运行消耗 1 个 token;不包含第三方 API 和模型使用费用。

提及内容分类请参阅 AI 品牌监测,战略层面的分析请参阅 AI 竞争情报。工作流示例提供独立任务的证据,并非对本有状态快照设计的测试。