igo-rs 0.2.0

Pure Rust port of the Igo, a POS(Part-Of-Speech) tagger for Japanese (日本語 形態素解析).
Documentation

igo-rs

Pure Rust port of the Igo, a POS(Part-Of-Speech) tagger for Japanese.

The original version was written in Java.

Japanese follows the English

Requirement

  • Binary dictionary files built with original version (You can download prebuilt dictionary from here)

Demo

% cp -r somewhere/original_java_igo/dic/ipadic data
% cargo build --release
% ./target/release/igo -t "すもももももももものうち" data/ipadic

すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS

Usage (as library)

extern crate igo;

use std::path::PathBuf;
use igo::Tagger;

fn main() {
    let dic_dir = PathBuf::from("data/ipadic");
    let tagger = Tagger::new(&dic_dir).unwrap();
    let text = "すもももももももものうち";

    let results = tagger.parse(text);
    for ref m in results {
        println!("{}\t{}", m.surface, m.feature);
    }
    println!("EOS");
}

Building binary dictionary

% cargo build --release
% ./target/release/igo_build_dic data/ipadic data/mecab-ipadic-2.7.0-20070801-utf8 UTF-8

### Build word trie
### Build word dictionary
### Build matrix
### Build char-category dictionary
DONE

License

The MIT License.

概要

Takeru Ohta氏がJavaで書いた日本語形態素解析ライブラリ Igo をRustに移植したものです。

特徴

  • pure Rustなので、Windows等でも実行環境を整えやすい
  • unsafe な処理を使用していない

必要なもの

  • Java版Igoで構築したバイナリ辞書(ディレクトリごと) (ここ から構築済のIPA辞書をダウンロード出来ます)
  • このRust版Igoでもバイナリ辞書を構築出来るようにしました。上の Building binary dictionary を見てください。

使い方

Rust用ライブラリとして、またはコマンドラインプログラムとして使用可能です。 上の Demo と Usage を見てください。

注意事項

  • 高速化の為、処理結果 igo::Morpheme は 処理対象テキストと igo::Tagger への参照を保持しています。 surface は処理対象テキストのスライスであり、 feature は辞書内テキストのスライスです。 必要に応じて Morpheme#to_owned() 等の処理をしてください。
  • バイナリ辞書を構築する場合、文字エンコーディングはUTF-8を推奨します。