Module tokenizer 

Modules

keyword

token

Structs

Tokenizer

字句解析器。入力文字列をトークン列へ変換する。