Struct StreamingTokenizer 

pub struct StreamingTokenizer { /* private fields */ }

스트리밍 토크나이저

대용량 텍스트를 청크 단위로 처리하며, 문장 경계를 고려하여 올바른 토큰화를 보장합니다.

Implementations

impl StreamingTokenizer

pub const DEFAULT_CHUNK_SIZE: usize = 8192

기본 청크 크기 (8KB)

pub fn new(tokenizer: Tokenizer) -> StreamingTokenizer

새 스트리밍 토크나이저 생성

Arguments

• tokenizer - 내부 토크나이저

Example

use mecab_ko_core::tokenizer::Tokenizer;
use mecab_ko_core::streaming::StreamingTokenizer;

let tokenizer = Tokenizer::new().unwrap();
let stream = StreamingTokenizer::new(tokenizer);

pub fn with_chunk_size(self, size: usize) -> StreamingTokenizer

청크 크기 설정

Arguments

• size - 청크 크기 (바이트)

pub fn with_sentence_delimiters( self, delimiters: Vec<char>, ) -> StreamingTokenizer

문장 구분자 설정

Arguments

• delimiters - 문장 구분자 목록

pub fn process_chunk(&mut self, chunk: &str) -> Vec<Token>

청크 처리

입력 청크를 버퍼에 추가하고, 완전한 문장을 토큰화합니다.

Arguments

• chunk - 입력 청크

Returns

토큰 목록

pub fn flush(&mut self) -> Vec<Token>

남은 버퍼 처리

스트림 처리가 끝난 후 버퍼에 남아있는 텍스트를 처리합니다.

Returns

남은 토큰 목록

pub fn process_reader<R>(&mut self, reader: R) -> Result<Vec<Token>, Error>

where R: Read,

Reader에서 스트리밍 처리

Arguments

• reader - 입력 Reader

Returns

모든 토큰 목록

Errors

I/O 에러 발생 시

pub fn process_file<P>(&mut self, path: P) -> Result<Vec<Token>, Error>

where P: AsRef<Path>,

파일에서 스트리밍 처리

Arguments

• path - 파일 경로

Returns

모든 토큰 목록

Errors

파일을 열 수 없거나 읽기 실패 시

pub fn buffer_len(&self) -> usize

버퍼 크기 확인

pub const fn total_chars_processed(&self) -> usize

처리된 문자 수

pub fn reset(&mut self)

스트림 리셋