Skip to main content

Module types

Module types 

Source
Expand description

Firecrawl v2 的请求和响应类型。字段名和默认值以 Firecrawl 源码 apps/api/src/controllers/v2/types.ts 为准;pagesift 自己的扩展字段单独标注。 请求里的未知字段一律忽略(Firecrawl 会拒绝,我们宽松一些,方便旧客户端)。

Structs§

AdaptiveOptions
自适应爬取的停止条件(pagesift 扩展 adaptive)。
BatchScrapeRequest
ChangeTracking
Firecrawl 的 changeTracking 结果(格式 {"type": "changeTracking", "modes": [...], "tag": ...})。 和上一次抓取同一 URL(同一 tag)的正文 Markdown 比较。
CrawlRequest
CrawlSummary
带查询的爬取结束时的说明,放在任务状态的 pagesift 字段里。
DocChunk
正文 Markdown 的一块。
Document
ExtractRequest
/v2/extract:从一组页面里按 schema 或提示提取结构化数据。URL 以 /* 结尾时先 map 整站。
Format
formats 的一项:Firecrawl 同时接受 "markdown" 和 {"type": "markdown", ...} 两种写法。
JobError
JobErrors
JobStarted
JobStatus
Location
MapLink
MapRequest
MapResponse
Metadata
PagesiftMeta
pagesift 在 metadata.pagesift 里附加的字段。
QueryFilter
pagesift 扩展 queryFilter:按查询过滤正文 Markdown,省 token。 可以直接写查询字符串,也可以写 {"query": "...", "relative": 0.5, "minTokens": 1000, "threshold": 1.0, "topK": 5, "maxTokens": 800, "headings": true}。 正文先切成约 100 token 的单位(不跨小节)用 BM25 打分;默认保留分数不低于最高分一半的单位, 留下的不到 1000 token 时按分数补足。 只给 threshold(Crawl4AI 的 bm25_threshold 写法)时只按绝对阈值,不再加相对阈值和保底。 summary、json 和 changeTracking 都基于过滤后的正文。
QueryFilterStats
ScrapeOptions
单页抓取选项(Firecrawl 的 scrapeOptions)。
ScrapeRequest
ScrapeResponse
SearchRequest
/v2/search。只有 scrapeOptions 里给了 formats 时才抓取搜索结果页面(和 Firecrawl 一致)。