Skip to main content

Module monitor

Module monitor 

Source
Expand description

监控(Firecrawl 的 /v2/monitor 形状):按计划重复检查网址,发现变化时通知。

  • POST /v2/monitor 创建,GET /v2/monitor 列出,GET/DELETE /v2/monitor/{id}, GET /v2/monitor/{id}/checks、GET /v2/monitor/{id}/checks/{checkId} 看检查结果; /v2/monitors 是同样的别名。
  • 目标:{"type": "scrape", "urls": [...], "scrapeOptions": {...}},或 {"type": "crawl", "url": "...", "crawlOptions": {...}}(每次检查爬一遍,比较新增、变化、消失的页面)。 search 目标不支持(如实报错)。
  • 计划:给了 schedule.cron 或 schedule.text 就按那个周期(和 Firecrawl 一样);pagesift 扩展 schedule.minIntervalMs、schedule.maxIntervalMs(毫秒)或不给计划时,每个网址的间隔按变化率的后验 自适应(pagesift_stat::poisson),下界 5 分钟(Firecrawl 的最短间隔)。
  • 检查带 If-None-Match / If-Modified-Since;变化用块级、区分噪声的 diff 判断,默认只有实质变化 才算 changed(pagesift 扩展 notify: "any" 时噪声变化也算);配了 extract 格式时附字段级变化。
  • 通知:webhook(monitor.page、monitor.check.completed,载荷照 Firecrawl)。邮件、Slack、 goal 的 LLM 判断不支持:notification 报错,goal 照存但在 warnings 里说明没有判断。
  • 服务端调度;多服务器时只有持有网关租约的机器调度(Config::monitor_leader)。

Modules§

schedule
schedule 的周期:Firecrawl 的 cron(常见的等间隔写法)和自然语言文本,换算成秒。

Structs§

MonitorRequest
请求体(Firecrawl 字段加 pagesift 扩展)。
Schedule
Target

Type Aliases§

Leader
监控能做什么判断:多服务器时由网关租约决定本机是否调度。