Expand description
文本提取模块
从 HTML 文档中提取纯文本内容，包含清洗、可读性分析和语言检测。 改编自 halldyll-parser 的文本提取实现。
Functions§
- count_
sentences - 统计句子数
- count_
words - 统计单词数
- detect_
language - 简单语言检测：基于高频词列表匹配
- extract_
element_ text - 提取元素的所有文本内容，自动在块级元素后换行
- extract_
text - 从 HTML 文档中提取文本内容
- extract_
text_ recursive - 深度受限的递归文本提取，防止栈溢出
- flesch_
kincaid_ grade - 计算 Flesch-Kincaid Grade Level（美国年级水平）
- flesch_
reading_ ease - 计算 Flesch Reading Ease 分数（0-100，越高越易读）
- is_
block_ element - 判断是否是块级元素
- is_
inline_ element - 判断是否是行内元素
- normalize_
text - 规范化文本：去除首尾空白，合并内部连续空白为单个空格
- should_
skip_ element - 判断元素是否应该被跳过
- should_
skip_ element_ by_ tag - strip_
html_ tags - 移除 HTML 标签，保留文本内容