Skip to main content

pagesift_api/
lib.rs

1//! pagesift 的 HTTP 接口：Firecrawl v2 兼容层、pagesift 扩展、健康检查和监控指标，
2//! 以及部署成服务要用的任务持久化、webhook、按 API key 的限流和配额。
3//!
4//! 协议、校验和任务管理在这里；真正的抓取由实现 [`Engine`] 的引擎完成。
5
6#![forbid(unsafe_code)]
7
8mod engine;
9mod error;
10pub(crate) mod firecrawl;
11pub mod jina;
12mod jobs;
13mod limits;
14mod metrics;
15pub(crate) mod server;
16pub mod types;
17mod validate;
18mod webhook;
19
20pub use engine::{BoxFuture, CrawlResume, CrawlSink, Engine};
21pub use error::{ApiError, ErrorCode};
22pub use jobs::{JOB_TTL, Job, JobKind, JobState, Jobs, rfc3339};
23pub use limits::KeyLimits;
24pub use server::{Config, router};
25pub use validate::{check_scrape_options, check_url};
26pub use webhook::{WebhookConfig, WebhookSettings};