pub trait Tokenize {
    // Required method
    fn into_tokens(self) -> Vec<Token>;
}
Expand description

Tokens conversion trait

Required Methods§

source

fn into_tokens(self) -> Vec<Token>

Convert to list of tokens

Implementations on Foreign Types§

source§

impl<A, B, C, D, E> Tokenize for (A, B, C, D, E)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable,

source§

impl<A, B, C> Tokenize for (A, B, C)where A: Tokenizable, B: Tokenizable, C: Tokenizable,

source§

impl Tokenize for ()

source§

impl<A, B, C, D, E, F> Tokenize for (A, B, C, D, E, F)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable,

source§

impl<'a> Tokenize for &'a [Token]

source§

impl<A, B, C, D, E, F, G, H> Tokenize for (A, B, C, D, E, F, G, H)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I> Tokenize for (A, B, C, D, E, F, G, H, I)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J, K, L> Tokenize for (A, B, C, D, E, F, G, H, I, J, K, L)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable, K: Tokenizable, L: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P> Tokenize for (A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable, K: Tokenizable, L: Tokenizable, M: Tokenizable, N: Tokenizable, O: Tokenizable, P: Tokenizable,

source§

impl<A, B, C, D> Tokenize for (A, B, C, D)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J, K, L, M, N, O> Tokenize for (A, B, C, D, E, F, G, H, I, J, K, L, M, N, O)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable, K: Tokenizable, L: Tokenizable, M: Tokenizable, N: Tokenizable, O: Tokenizable,

source§

impl<A, B> Tokenize for (A, B)where A: Tokenizable, B: Tokenizable,

source§

impl<A, B, C, D, E, F, G> Tokenize for (A, B, C, D, E, F, G)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J, K, L, M> Tokenize for (A, B, C, D, E, F, G, H, I, J, K, L, M)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable, K: Tokenizable, L: Tokenizable, M: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J> Tokenize for (A, B, C, D, E, F, G, H, I, J)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J, K> Tokenize for (A, B, C, D, E, F, G, H, I, J, K)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable, K: Tokenizable,

source§

impl<A> Tokenize for (A,)where A: Tokenizable,

source§

impl<A, B, C, D, E, F, G, H, I, J, K, L, M, N> Tokenize for (A, B, C, D, E, F, G, H, I, J, K, L, M, N)where A: Tokenizable, B: Tokenizable, C: Tokenizable, D: Tokenizable, E: Tokenizable, F: Tokenizable, G: Tokenizable, H: Tokenizable, I: Tokenizable, J: Tokenizable, K: Tokenizable, L: Tokenizable, M: Tokenizable, N: Tokenizable,

Implementors§