Struct Token

pub struct Token { /* private fields */ }

Token 结构体。

表示词法分析过程中识别出的一个词法单元（Token）。 包含 Token 的内容、类型、源码位置等信息。

字段说明

• token：处理后的 Token 内容字符串
• origin_token_span：Token 在原始源码中的位置范围 (start, end)
• source_code：共享的源码引用，用于错误报告和调试
• token_type：Token 的类型分类

Implementations

impl Token

pub fn new( token: String, origin_token_span: (usize, usize), source_code: Source, token_type: TokenType, ) -> Token

创建新的 Token 实例。

参数

• token：处理后的 Token 内容字符串
• origin_token_span：Token 在源码中的位置范围
• source_code：源码的共享引用
• token_type：Token 类型

返回

新创建的 Token 实例

pub fn token(&self) -> &String

获取 Token 的内容字符串。

返回

Token 处理后的内容字符串引用

pub fn origin_token_span(&self) -> (usize, usize)

获取 Token 在原始源码中的位置范围。

返回

包含起始和结束位置的元组 (start, end)

pub fn origin_token(&self) -> String

获取 Token 在原始源码中的原始内容。

从源码中提取 Token 的原始字符串，可能与处理后的内容不同 （例如字符串可能包含转义序列）。

返回

Token 的原始源码字符串

pub fn source_code(&self) -> &Source

获取源码的共享引用。

返回

源码的引用，可用于访问完整的源码内容

pub fn source_code_str(&self) -> String

获取完整源码的字符串表示。

将整个源码转换为字符串，主要用于调试和错误报告。

返回

完整源码的字符串

pub fn token_type(&self) -> TokenType

获取 Token 的类型。

返回

Token 的类型枚举值

Trait Implementations

impl Clone for Token

fn clone(&self) -> Token

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for Token

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl PartialEq<&str> for Token

fn eq(&self, other: &&str) -> bool

比较 Token 内容与字符串切片。

允许直接将 Token 与字符串字面量进行比较。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl PartialEq<TokenType> for &Token

fn eq(&self, other: &TokenType) -> bool

比较 Token 引用的类型与 TokenType。

允许对 Token 引用直接进行类型检查。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl PartialEq<TokenType> for Token

fn eq(&self, other: &TokenType) -> bool

比较 Token 类型与 TokenType。

允许直接检查 Token 是否为特定类型。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl PartialEq<str> for Token

fn eq(&self, other: &str) -> bool

比较 Token 内容与字符串。

允许直接将 Token 与字符串进行比较。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.