Function estimate_token_count 

pub fn estimate_token_count(text: &str) -> usize

Estimates the number of tokens in text using default options.

Examples

use tokenx_rs::estimate_token_count;

assert_eq!(estimate_token_count(""), 0);
assert!(estimate_token_count("Hello, world!") > 0);