Enum TokenType

pub enum TokenType {
    NUMBER,
    STRING,
    IDENTIFIER,
    SYMBOL,
    COMMENT,
    BASE64,
}

Token 类型枚举。

定义了 Onion 语言中所有可能的 Token 类型。每种类型对应不同的词法单元。

Token 类型说明

• NUMBER：数字字面量，包括整数、浮点数、十六进制、八进制、二进制
• STRING：字符串字面量，支持多种引号格式和转义序列
• IDENTIFIER：标识符，包括变量名、函数名、关键字等
• SYMBOL：符号，包括运算符、分隔符、括号等
• COMMENT：注释，包括单行注释和多行注释
• BASE64：特殊的 Base64 编码字符串，格式为 $"..."

Variants

NUMBER

STRING

IDENTIFIER

SYMBOL

COMMENT

BASE64

Trait Implementations

impl Clone for TokenType

fn clone(&self) -> TokenType

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for TokenType

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl PartialEq<TokenType> for &Token

fn eq(&self, other: &TokenType) -> bool

比较 Token 引用的类型与 TokenType。

允许对 Token 引用直接进行类型检查。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl PartialEq<TokenType> for Token

fn eq(&self, other: &TokenType) -> bool

比较 Token 类型与 TokenType。

允许直接检查 Token 是否为特定类型。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl PartialEq for TokenType

fn eq(&self, other: &Self) -> bool

比较两个 TokenType 是否相等。

使用内存判别式进行比较，只比较枚举变体，不比较关联数据。

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.