Module text 

Functions

clean_markdown

把 Markdown 清洗成纯文本。输入输出都是原文以外的 派生文本，调用方负责决定拿它做什么（库只拿它喂索引分词）。

is_cjk

normalize_text

tokenize

Keep document token frequencies; query callers can deduplicate separately.