vn-nlp 0.1.3

Vietnamese NLP library — tokenization, normalization, segmentation
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13

use vn_nlp::tokenize::TokenStream;

fn main() {
    let text = "Văn bản tiếng Việt rất hay và đẹp!";
    println!("Input: {text}\n");
    println!("Streaming tokens:");

    let stream = TokenStream::new(text);
    for result in stream {
        let token = result.unwrap();
        println!("  {:?} ({:?})", token.text, token.kind);
    }
}