Crate pagesift_api

Expand description

pagesift 的 HTTP 接口：Firecrawl v2 兼容层、pagesift 扩展、健康检查和监控指标，以及部署成服务要用的任务持久化、webhook、按 API key 的限流和配额。

协议、校验和任务管理在这里；真正的抓取由实现 Engine 的引擎完成。

Modules§

types: Firecrawl v2 的请求和响应类型。字段名和默认值以 Firecrawl 源码 apps/api/src/controllers/v2/types.ts 为准；pagesift 自己的扩展字段单独标注。请求里的未知字段一律忽略（Firecrawl 会拒绝，我们宽松一些，方便旧客户端）。

ApiError
Config
CrawlResume: 中断的爬取任务恢复时的进度。完成的页面以文档的 metadata.sourceURL（失败的以出错的 URL）为准。
Job
Jobs
KeyLimits: 一个 API key 的限额，各项不设就是不限。
WebhookConfig: 请求里的 webhook：Firecrawl 接受一个 URL 字符串，或者带 headers、metadata、events 的对象。
WebhookSettings: webhook 投递的设置（服务端配置，不来自请求）。