Crate pagesift_api 

pagesift 的 HTTP 接口：Firecrawl v2 兼容层、pagesift 扩展、健康检查和监控指标， 以及部署成服务要用的任务持久化、webhook、按 API key 的限流和配额。

协议、校验和任务管理在这里；真正的抓取由实现 Engine 的引擎完成。

Modules

jina

Jina Reader protocol adapter for PageSift. Implements GET /r/{*url} and POST /r for direct markdown and SSE event streaming.

types

Firecrawl v1/v2 request and response types.

Structs

ApiError

Config

CrawlResume

中断的爬取任务恢复时的进度。完成的页面以文档的 metadata.sourceURL（失败的以出错的 URL）为准。

Job

Jobs

KeyLimits

一个 API key 的限额，各项不设就是不限。

WebhookConfig

请求里的 webhook：Firecrawl 接受一个 URL 字符串，或者带 headers、metadata、events 的对象。

WebhookSettings

webhook 投递的设置（服务端配置，不来自请求）。

Enums

ErrorCode

JobKind

JobState

Constants

JOB_TTL

Task results retention period (24 hours).

Traits

CrawlSink

整站爬取的进度回报，由 API 层的任务管理实现。

Engine

Functions

check_scrape_options

check_url

rfc3339

UTC timestamp formatted into RFC 3339 (second precision with milliseconds).

router

Construct complete HTTP router with Firecrawl v1/v2, Jina Reader, and metrics.

Type Aliases

BoxFuture