Struct Lexer 

pub struct Lexer<'a, R: IdentResolver> { /* private fields */ }

Lexer（ジェネリック版）

Implementations

impl<'a> Lexer<'a, Interning<'a>>

pub fn new( source: &'a [u8], file_id: FileId, interner: &'a mut StringInterner, ) -> Self

新しいLexerを作成（通常モード）

impl<'a> Lexer<'a, LookupOnly<'a>>

pub fn new_readonly( source: &'a [u8], file_id: FileId, interner: &'a StringInterner, ) -> Self

新しいLexerを作成（読み取り専用モード）

このモードでは、既に intern 済みの識別子のみを認識する。 未知の識別子を検出した場合は LexError::UnknownIdentifier を返す。

impl<'a, R: IdentResolver> Lexer<'a, R>

pub fn set_return_spaces(&mut self, enabled: bool)

スペースをトークンとして返すかどうかを設定

pub fn return_spaces(&self) -> bool

現在のスペース返却モードを取得

pub fn current_location(&self) -> SourceLocation

現在位置を取得

pub fn file_id(&self) -> FileId

ファイルIDを取得

pub fn next_token(&mut self) -> Result<Token>

次のトークンを取得