pub fn tokenize(text: &str) -> Vec<String>Expand description
Extrai tokens (palavras) de uma string normalizada
§Exemplos
use clickup::matching::tokenize;
assert_eq!(tokenize("José da Silva"), vec!["jose", "da", "silva"]);
assert_eq!(tokenize(" ANDRÉ LUIZ "), vec!["andre", "luiz"]);