libsimple 0.10.0

Rust bindings to simple, a SQLite3 fts5 tokenizer which supports Chinese and PinYin.
# CppJieba字典

文件后缀名代表的是词典的编码方式。
比如filename.utf8 是 utf8编码,filename.gbk 是 gbk编码方式。


## 分词

### jieba.dict.utf8/gbk

作为最大概率法(MPSegment: Max Probability)分词所使用的词典。

格式固定为:

```text
词语 词频 词性
```

- 每行必须正好三列。
- `词频` 读取后会换算成对数权重。
- `词性` 以字符串形式保存在词典节点中,库本身不做枚举校验。

### hmm_model.utf8/gbk

作为隐式马尔科夫模型(HMMSegment: Hidden Markov Model)分词所使用的词典。

__对于MixSegment(混合MPSegment和HMMSegment两者)则同时使用以上两个词典__

### user.dict.utf8

用户词典示例。

支持以下三种行格式:

```text
词语
词语 词性
词语 词频 词性
```

- `1` 列表示只指定词语,使用默认权重,词性为空。
- `2` 列表示 `词语 词性`。
- `3` 列表示 `词语 词频 词性`。
- 可以通过 `|` 或 `;` 传入多个用户词典文件路径。
- 不支持注释语法、额外列或带空格的词语字段。

当前默认权重来自主词典统计值,默认使用中位数权重;也可以在
`cppjieba::DictTrie` 构造时通过 `WordWeightMin`、`WordWeightMedian`、
`WordWeightMax` 调整策略。


## 关键词抽取

### idf.utf8

IDF(Inverse Document Frequency)
在KeywordExtractor中,使用的是经典的TF-IDF算法,所以需要这么一个词典提供IDF信息。

### stop_words.utf8

停用词词典