Module tokenizer 

Structs

Token

Токен — одно слово с метаданными для RSVP.

Enums

TokenizeError

Ошибки токенизации.

Functions

orp_index

Tokenizer — разбивает текст на токены с ORP-позиционированием. Requirement: 1.1, Design: Tokenizer section Позиция ORP-буквы в слове.

tokenize

Разбивает текст на токены.