Expand description
链接提取与分析模块
基于 halldyll-parser 的链接提取逻辑改写。 提供从 HTML 文档中提取链接、URL 解析、分类、过滤与统计分析功能。
Structs§
- Link
Stats - 链接统计信息
Functions§
- calculate_
link_ stats - 计算链接统计信息。
- determine_
link_ type - 判断链接类型(内部 / 外部 / 未知)。
- extract_
link - 从单个
<a>元素提取 Link 结构。 - extract_
links - 从 HTML 文档中提取所有链接。
- filter_
external_ links - 过滤出外部链接。
- filter_
followable_ links - 过滤出可跟随的链接(非 nofollow / sponsored / ugc)。
- filter_
internal_ links - 过滤出内部链接。
- get_
external_ domains - 获取所有外部链接的唯一域名列表。
- is_
nofollow - 判断 rel 列表中是否包含 nofollow。
- is_
sponsored - 判断 rel 列表中是否包含 sponsored。
- is_ugc
- 判断 rel 列表中是否包含 ugc。
- normalize_
url - 标准化 URL:移除片段标识符(fragment)、末尾斜杠(可选的)等。
- parse_
rel_ attribute - 解析
rel属性值为LinkRel枚举列表。 - resolve_
url - 将 href 属性值解析为绝对 URL。