Struct AnalyzerConfig 

pub struct AnalyzerConfig {
    pub mode: AnalysisMode,
    pub pos_filter: Option<PosFilter>,
    pub lemmatization: LemmatizationMode,
    pub min_length: usize,
    pub max_length: usize,
}

분석기 설정

분석 모드, 필터, 원형 복원 설정을 조합합니다.

Fields

mode: AnalysisMode

분석 모드

pos_filter: Option<PosFilter>

품사 필터 (Custom 모드에서 사용)

lemmatization: LemmatizationMode

원형 복원 모드

min_length: usize

최소 토큰 길이 (문자 단위)

max_length: usize

최대 토큰 길이 (문자 단위, 0이면 제한 없음)

Implementations

impl AnalyzerConfig

pub fn new(mode: AnalysisMode) -> AnalyzerConfig

새 분석기 설정 생성

pub fn with_filter(filter: PosFilter) -> AnalyzerConfig

커스텀 필터로 설정 생성

pub const fn with_lemmatization(self, mode: LemmatizationMode) -> AnalyzerConfig

원형 복원 모드 설정

pub const fn with_min_length(self, len: usize) -> AnalyzerConfig

최소 토큰 길이 설정

pub const fn with_max_length(self, len: usize) -> AnalyzerConfig

최대 토큰 길이 설정

pub fn analyze( &self, tokenizer: &mut Tokenizer, text: &str, ) -> Vec<AnalyzedToken>

분석 수행

토크나이저를 사용하여 텍스트를 분석하고, 설정에 따라 결과를 필터링/변환합니다.

pub fn process_tokens(&self, tokens: Vec<Token>) -> Vec<AnalyzedToken>

토큰 목록 처리

이미 토크나이징된 결과를 필터링/변환합니다.

Trait Implementations

impl Clone for AnalyzerConfig

fn clone(&self) -> AnalyzerConfig

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for AnalyzerConfig

fn fmt(&self, f: &mut Formatter<'_>) -> Result<(), Error>

Formats the value using the given formatter.

impl Default for AnalyzerConfig

fn default() -> AnalyzerConfig

Returns the “default value” for a type.