Expand description
分页检测与提取模块
基于 halldyll-parser 的分页逻辑改写。 提供从 HTML 文档中检测分页类型、提取分页链接、解析页码等功能, 支持数字分页、上一页/下一页、无限滚动、加载更多、游标与偏移量等多种分页模式。
Structs§
- PageUrl
- 分页链接
- Pagination
- 分页信息
Enums§
- Pagination
Type - 分页类型枚举
Functions§
- detect_
infinite_ scroll - 检测页面是否使用无限滚动。
- detect_
load_ more - 检测页面是否使用「加载更多」按钮。
- determine_
pagination_ type - 综合判断分页类型。
- extract_
page_ info_ from_ text - 从文本中提取页码信息。
- extract_
page_ links - 从 DOM 中提取分页链接元素。
- extract_
page_ number_ from_ url - 从 URL 中提取页码。
- extract_
pagination - 从 HTML 文档中提取完整的分页信息。
- extract_
rel_ links - 从
<link rel="next">、<link rel="prev">等标签中提取分页链接。 - generate_
page_ url - 根据基准 URL 和页码生成分页 URL。
- get_
next_ page - 获取下一页的 URL。
- get_
prev_ page - 获取上一页的 URL。
- has_
pagination - 快速判断 HTML 文档中是否包含分页。
- resolve_
url - 解析 URL,支持相对路径和协议相对 URL。