tokenizer

Function tokenizer 

Source
pub fn tokenizer(input: &[u8]) -> IResult<&[u8], Token<'_>>