Skip to main content

Module fingerprint

Module fingerprint 

Source
Expand description

内容指纹与 AMP 检测模块

提供内容指纹生成、变化检测、AMP 页面识别和缓存提示提取功能。 改编自 halldyll-parser 的指纹与 AMP 检测实现。

Structs§

AmpInfo
AMP 页面信息
CacheHints
缓存提示信息
ContentFingerprint
内容指纹,用于检测 HTML 内容的变化

Functions§

content_similarity
计算两个 HTML 文档的内容相似度
count_elements
统计文档中的 HTML 元素总数
count_text_nodes
统计文档中的文本节点数量
detect_amp_runtime
检测页面是否加载了 AMP 运行时
detect_amp_version
检测 AMP 版本号
detect_is_amp_page
检测当前页面是否为 AMP 页面
extract_amp_components
提取页面使用的 AMP 扩展组件列表
extract_amp_info
从 HTML 文档中提取 AMP 信息
extract_amp_link
提取 AMP 版本的链接(<link rel="amphtml">
extract_cache_hints
从 HTML 文档中提取缓存提示信息
extract_canonical_link
提取 canonical 链接(<link rel="canonical">
extract_main_content
从文档中提取主要正文内容
extract_structure
提取文档的结构指纹(基于 DOM 标签层次结构)
extract_text_only
从文档中提取所有文本(不含 HTML 标签)
fingerprint_document
为 HTML 文档生成指纹
generate_fingerprint
为 HTML 文档生成完整的内容指纹
get_amp_url
获取 AMP 版本的 URL(如果存在)
has_content_changed
检查两个 HTML 文档的内容是否发生了变化
hash_string
计算字符串的哈希值
is_amp_page
检测 HTML 文档是否为 AMP 页面
quick_hash
快速计算文本内容的哈希值
quick_html_hash
快速计算 HTML 文档的文本哈希值
resolve_url
解析相对 URL 为绝对 URL