Struct Token 

pub struct Token {
    pub surface: String,
    pub pos: String,
    pub start_pos: usize,
    pub end_pos: usize,
    pub start_byte: usize,
    pub end_byte: usize,
    pub reading: Option<String>,
    pub lemma: Option<String>,
    pub cost: i32,
    pub features: String,
    pub normalized: Option<String>,
}

토큰

형태소 분석 결과의 개별 토큰을 표현합니다.

Fields

surface: String

표면형 (원본 텍스트의 형태)

pos: String

품사 태그

start_pos: usize

시작 위치 (문자 단위, 0-based)

end_pos: usize

끝 위치 (문자 단위, exclusive)

start_byte: usize

시작 위치 (바이트 단위)

end_byte: usize

끝 위치 (바이트 단위)

reading: Option<String>

읽기 (발음)

lemma: Option<String>

원형 (기본형)

cost: i32

비용

features: String

전체 품사 정보 (CSV feature string)

normalized: Option<String>

정규화된 형태 (외래어 정규화 활성화 시)

Implementations

impl Token

pub const fn new( surface: String, pos: String, start_pos: usize, end_pos: usize, start_byte: usize, end_byte: usize, ) -> Self

새 토큰 생성

pub fn from_node(node: &Node) -> Self

Lattice 노드에서 토큰 생성

Arguments

• node - Lattice 노드

pub const fn char_len(&self) -> usize

토큰 길이 (문자 단위)

pub const fn byte_len(&self) -> usize

토큰 길이 (바이트 단위)

pub fn pos_tag(&self) -> Option<PosTag>

품사 태그를 PosTag 타입으로 파싱

Trait Implementations

impl Clone for Token

fn clone(&self) -> Token

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for Token

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl PartialEq for Token

fn eq(&self, other: &Token) -> bool

Tests for self and other values to be equal, and is used by ==.

fn ne(&self, other: &Rhs) -> bool

Tests for !=. The default implementation is almost always sufficient, and should not be overridden without very good reason.

impl Eq for Token

impl StructuralPartialEq for Token