Crate pagesift_engine 

pagesift 的引擎：单页抓取的完整流程（HTTP、渲染、渲染决策、PDF/Office、结果组装）和爬取循环。 命令行、HTTP 服务、多服务器接线在上层的 pagesift crate；这里不依赖它们。

Re-exports

pub use crawl::normalize as normalize_url;

pub use engine::AUTO_RENDER_ARTICLE_MIN_CHARS;

pub use engine::AUTO_RENDER_MIN_CHARS;

pub use engine::EngineProbe;

pub use engine::InteractLimits;

pub use engine::Scraper;

pub use engine::ScraperBuilder;

pub use engine::ScraperConfig;

pub use engine::ScraperError;

pub use engine::needs_render;

pub use engine::office_markdown;

pub use engine::office_markdown_from;

pub use engine::set_cpu_capacity;

pub use engine::set_cpu_groups;

pub use engine::text_weight;

Modules

audit

审计日志：每次抓取写一行 JSON（只有元数据），结果可疑时另存当时的 HTML，供事后复现。

change

变化检测（Firecrawl 的 changeTracking 格式）：和存储里同一 URL、同一 tag 上一次抓到的 正文 Markdown 比较，给出 new/same/changed/removed，按需附上 git diff 风格的差异。

crawl

整站爬取和 map（PRD 6.6）：URL 规范化、爬取范围、sitemap 解析、广度优先遍历， 以及带查询时的相关性优先遍历（见 crate::focus）。

discovery

Read-only document navigation from HTTP Link fields. Candidates still pass through the normal crawler scope, robots and budget checks.

engine

抓取引擎：把网络层、礼貌策略、正文提取、PDF 和浏览器渲染串成一次完整的抓取。

focus

带查询的整站爬取：相关性优先的调度队列（best-first）、链接打分和自适应停止。

frontier

爬取前沿的质量规则：哪些 URL 是同一页的不同写法，哪些不值得抓，哪些是陷阱。

learn

按站点自学习从哪个浏览器内核开始渲染。

notice

哪些 warning 要让调用方直接看到：结果可能不完整、不对，或者根本不是想要的页面。

scripts

Opt-in, origin-scoped external module traversal. Candidates carry provenance and remain separate from observed browser traffic or confirmed GET requests.

Traits

PageRunner

爬取里逐页抓取的执行者。网关把它装到 Scraper 上（engine::Scraper::route_pages）， 爬取前沿留在网关，页面交给工人。