Skip to main content

Module links

Module links 

Source
Expand description

链接提取与分析模块

基于 halldyll-parser 的链接提取逻辑改写。 提供从 HTML 文档中提取链接、URL 解析、分类、过滤与统计分析功能。

Structs§

LinkStats
链接统计信息

Functions§

calculate_link_stats
计算链接统计信息。
determine_link_type
判断链接类型(内部 / 外部 / 未知)。
extract_link
从单个 <a> 元素提取 Link 结构。
extract_links
从 HTML 文档中提取所有链接。
filter_external_links
过滤出外部链接。
filter_followable_links
过滤出可跟随的链接(非 nofollow / sponsored / ugc)。
filter_internal_links
过滤出内部链接。
get_external_domains
获取所有外部链接的唯一域名列表。
is_nofollow
判断 rel 列表中是否包含 nofollow。
is_sponsored
判断 rel 列表中是否包含 sponsored。
is_ugc
判断 rel 列表中是否包含 ugc。
normalize_url
标准化 URL:移除片段标识符(fragment)、末尾斜杠(可选的)等。
parse_rel_attribute
解析 rel 属性值为 LinkRel 枚举列表。
resolve_url
将 href 属性值解析为绝对 URL。