Struct Token 

pub struct Token {
    pub id: TokenId,
    pub kind: TokenKind,
    pub loc: SourceLocation,
    pub leading_comments: Vec<Comment>,
}

位置情報付きトークン

Fields

id: TokenId

トークンの一意識別子

kind: TokenKind

loc: SourceLocation

leading_comments: Vec<Comment>

このトークンの直前にあったコメント群

Implementations

impl Token

pub fn new(kind: TokenKind, loc: SourceLocation) -> Self

新しいトークンを作成

pub fn with_comments( kind: TokenKind, loc: SourceLocation, comments: Vec<Comment>, ) -> Self

コメント付きでトークンを作成

pub fn clone_with_new_id(&self) -> Self

同じ内容で新しいIDを持つトークンを複製

マクロ展開時に、定義トークンから新しいインスタンスを作成する際に使用。 各展開インスタンスが独自のIDを持つことで、展開追跡が可能になる。

Trait Implementations

impl Clone for Token

fn clone(&self) -> Token

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for Token

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Default for Token

fn default() -> Self

Returns the “default value” for a type.

impl PartialEq for Token

fn eq(&self, other: &Token) -> bool

Tests for self and other values to be equal, and is used by ==.

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl StructuralPartialEq for Token