Struct BatchTokenizer 

pub struct BatchTokenizer { /* private fields */ }

배치 토크나이저

Rayon을 사용하여 여러 텍스트를 병렬로 처리합니다. 내부적으로 토크나이저 풀을 관리하여 각 스레드가 독립적으로 작업합니다.

Implementations

impl BatchTokenizer

pub fn default_pool_size() -> usize

기본 풀 크기 (CPU 코어 수)

pub fn new() -> Result<BatchTokenizer, Error>

새 배치 토크나이저 생성

CPU 코어 수만큼 토크나이저를 미리 생성합니다.

Errors

토크나이저 초기화 실패 시

pub fn with_pool_size(pool_size: usize) -> Result<BatchTokenizer, Error>

풀 크기 지정하여 생성

Arguments

• pool_size - 토크나이저 풀 크기

Errors

토크나이저 초기화 실패 시

pub fn with_dict<P>( dict_path: P, pool_size: usize, ) -> Result<BatchTokenizer, Error>

where P: AsRef<Path>,

사전 경로 지정하여 생성

Arguments

• dict_path - 사전 디렉토리 경로
• pool_size - 토크나이저 풀 크기

Errors

토크나이저 초기화 실패 시

pub fn tokenize_batch(&self, texts: &[&str]) -> Vec<Vec<Token>>

배치 토큰화

여러 텍스트를 병렬로 처리합니다.

Arguments

• texts - 텍스트 목록

Returns

각 텍스트의 토큰 목록

Example

use mecab_ko_core::batch::BatchTokenizer;

let batch = BatchTokenizer::new().unwrap();
let texts = vec!["안녕하세요", "감사합니다"];
let results = batch.tokenize_batch(&texts);

pub fn tokenize_batch_owned(&self, texts: &[String]) -> Vec<Vec<Token>>

배치 토큰화 (소유된 문자열)

Arguments

• texts - 텍스트 목록

Returns

각 텍스트의 토큰 목록

pub fn tokenize_files<P>(&self, paths: &[P]) -> Result<Vec<Vec<Token>>, Error>

where P: AsRef<Path> + Sync,

파일 목록 배치 처리

Arguments

• paths - 파일 경로 목록

Returns

각 파일의 토큰 목록

Errors

파일 읽기 실패 시

pub fn tokenize_chunked(&self, text: &str, chunk_size: usize) -> Vec<Token>

청크 단위 병렬 처리

대용량 텍스트를 청크로 나누어 병렬 처리합니다.

Arguments

• text - 입력 텍스트
• chunk_size - 청크 크기 (문자 단위)

Returns

모든 토큰 목록

pub fn split_with_overlap( text: &str, chunk_size: usize, overlap: usize, ) -> Vec<String>

오버랩 있는 청크 분할

컨텍스트 보존을 위해 청크 간 오버랩을 추가합니다.

Arguments

• text - 분할할 텍스트
• chunk_size - 청크 크기
• overlap - 오버랩 크기 (문자 단위)

pub const fn pool_size(&self) -> usize

풀 크기 조회

pub fn available_tokenizers(&self) -> usize

현재 사용 가능한 토크나이저 수