Struct Tagger

pub struct Tagger { /* private fields */ }

形態素解析を行う

Implementations

impl Tagger

pub fn new(data_dir: &Path) -> Result<Tagger>

バイナリ辞書を読み込んで、形態素解析器のインスタンスを作成する

Arguments

• data_dir - バイナリ辞書があるディレクトリ

Examples found in repository

examples/file_bench.rs (line 12)

fn setup_tagger() -> Tagger {
    let dic_dir = PathBuf::from("data/ipadic");
    Tagger::new(&dic_dir).unwrap()
}

examples/parse.rs (line 8)

fn main() {
    let dic_dir = PathBuf::from(env::var("IGO_DIC").unwrap_or("data/ipadic".to_string()));
    let tagger = Tagger::new(dic_dir.as_path()).unwrap();
    let text = "すもももももも\u{1F351}もものうち";

    let results = tagger.parse(text);
    for ref m in &results {
        println!("{}\t{}", m.surface, m.feature);
    }
    println!("EOS");

    for ref m in results {
        println!("{:?}", m);
    }
}

pub fn load_from_dir(dir: &mut dyn DirLike) -> Result<Tagger>

zip等にアーカイブしたバイナリ辞書を読み込んで、形態素解析器のインスタンスを作成する

WebAssembly等、ファイルシステムに直接アクセスできない環境向け

Arguments

• dir - アーカイブファイルのイメージ

pub fn parse<'a, 'b>(&'a self, text: &'b str) -> Vec<Morpheme<'a, 'b>>

形態素解析を行う

Arguments

• text - 解析対象テキスト

Examples found in repository

examples/parse.rs (line 11)

fn main() {
    let dic_dir = PathBuf::from(env::var("IGO_DIC").unwrap_or("data/ipadic".to_string()));
    let tagger = Tagger::new(dic_dir.as_path()).unwrap();
    let text = "すもももももも\u{1F351}もものうち";

    let results = tagger.parse(text);
    for ref m in &results {
        println!("{}\t{}", m.surface, m.feature);
    }
    println!("EOS");

    for ref m in results {
        println!("{:?}", m);
    }
}

examples/file_bench.rs (line 32)

fn main() {
    let repeat: usize = env::args().nth(1)
        .and_then(|s| s.parse().ok()).unwrap_or(1000);
    let input_path = env::args().nth(2)
        .unwrap_or("data/text1.txt".to_string());

    println!("input file path: {}", input_path);
    let reader = BufReader::new(File::open(input_path).unwrap());
    let lines: Vec<_> = reader.lines().map(|l| l.unwrap()).collect();

    let tagger = setup_tagger();
    let start_time = Instant::now();

    println!("start {} iter", repeat);

    for _ in 0..repeat {
        for line in &lines {
            tagger.parse(line);
        }
    }

    let elapsed = start_time.elapsed();
    let ms = (((elapsed.as_secs() as f64) * 1000.0)
        + ((elapsed.subsec_nanos() as f64) / 1_000_000.0)) / (repeat as f64);
    println!("elapsed: {} ms/iter", ms);
}

pub fn wakati(&self, text: &str) -> Vec<String>

分かち書きを行う

Arguments

• text - 分かち書きされるテキスト