Skip to main content

Module pagination

Module pagination 

Source
Expand description

分页检测与提取模块

基于 halldyll-parser 的分页逻辑改写。 提供从 HTML 文档中检测分页类型、提取分页链接、解析页码等功能, 支持数字分页、上一页/下一页、无限滚动、加载更多、游标与偏移量等多种分页模式。

Structs§

PageUrl
分页链接
Pagination
分页信息

Enums§

PaginationType
分页类型枚举

Functions§

detect_infinite_scroll
检测页面是否使用无限滚动。
detect_load_more
检测页面是否使用「加载更多」按钮。
determine_pagination_type
综合判断分页类型。
extract_page_info_from_text
从文本中提取页码信息。
extract_page_links
从 DOM 中提取分页链接元素。
extract_page_number_from_url
从 URL 中提取页码。
extract_pagination
从 HTML 文档中提取完整的分页信息。
extract_rel_links
<link rel="next"><link rel="prev"> 等标签中提取分页链接。
generate_page_url
根据基准 URL 和页码生成分页 URL。
get_next_page
获取下一页的 URL。
get_prev_page
获取上一页的 URL。
has_pagination
快速判断 HTML 文档中是否包含分页。
resolve_url
解析 URL,支持相对路径和协议相对 URL。