Module tokenizer 

Structs

CustomWordEntry

自定义词记录（中英双语）。 Custom dictionary entry (bilingual).

DictionaryMutationResult

词典热更新结果（中英双语）。 Dictionary mutation result payload (bilingual).

ListCustomWordsResult

词典列表结果（中英双语）。 Custom dictionary listing result payload (bilingual).

TokenizeOutput

分词输出（中英双语）。 Tokenization output payload (bilingual).

Enums

TokenizerMode

分词模式（中英双语）。 Tokenizer mode selector (bilingual).

Constants

VULCAN_DICT_TABLE

伴生系统词典表名（中英双语）。 System companion dictionary table name (bilingual).

Functions

ensure_jieba_tokenizer_registered

确保当前 SQLite 连接已注册 jieba tokenizer（中英双语）。 Ensure the current SQLite connection registered the jieba tokenizer (bilingual).

ensure_vulcan_dict_table

确保伴生词典表存在（中英双语）。 Ensure the companion dictionary table exists (bilingual).

list_custom_words

列出当前启用的自定义词（中英双语）。 List enabled custom words with a structured result payload (bilingual).

load_custom_words

列出当前启用的自定义词（中英双语）。 List currently enabled custom dictionary words (bilingual).

remove_custom_word

删除自定义词（中英双语）。 Remove a custom dictionary word (bilingual).

tokenize_text

执行分词并构造 FTS 查询表达式（中英双语）。 Perform tokenization and build an FTS query expression (bilingual).

upsert_custom_word

写入或更新自定义词（中英双语）。 Insert or update a custom dictionary word (bilingual).